Maison
OpenRouter lance une technologie visant à réduire considérablement les coûts liés aux conversations en plusieurs étapes basées sur l'IA
À mesure que la technologie de conversation basée sur l’IA évolue, OpenRouter a lancé deux nouvelles fonctionnalités — « Prompt Caching » et « Sticky Routing » — conçues pour réduire les coûts liés aux jetons lors des conversations à plusieurs échanges avec les agents. Cette innovation permet aux développeurs de réduire les dépenses lors d’interactions prolongées avec les agents, ce qui favorise une adoption plus large des applications d’agents.
Dans les conversations à plusieurs échanges, les agents renvoient fréquemment les mêmes invites système, définitions d’outils et instructions stratégiques. Même si l’utilisateur ne modifie qu’une seule entrée sur six échanges, chaque invite répétée entraîne des frais. La mise en cache des invites permet à OpenRouter de récupérer des données mises en cache, évitant ainsi le coût lié à la réémission d’invites identiques. Selon le fournisseur, les lectures en cache coûtent entre 0,1 et 0,5 fois le prix standard des entrées, ce qui réduit considérablement les dépenses. Par exemple, sur Claude Sonnet 4.6, les lectures en cache ne coûtent que 0,30 $ par million de tokens, contre 3,00 $ pour une entrée normale.

Pour maintenir l’efficacité de la mise en cache sur plusieurs tours de conversation, la fonctionnalité « Sticky Routing » d’OpenRouter envoie les requêtes suivantes au même fournisseur qui détient le cache « chaud », ce qui permet aux développeurs de bénéficier en permanence de lectures en cache à faible coût tout au long de la conversation.
Toutefois, pour tirer pleinement parti de cette innovation, les développeurs doivent conserver la même session tout au long de la conversation. Pour une mise en cache optimale, OpenRouter recommande de définir un session_id, qui active le « Sticky Routing » immédiatement après la première requête réussie — et pas seulement après un accès au cache. Les développeurs peuvent également vérifier l’utilisation du cache en consultant les données de réponse.
À mesure que la technologie d’IA progresse, la dernière fonctionnalité d’OpenRouter offre non seulement aux développeurs un puissant outil de maîtrise des coûts, mais ouvre également de nouvelles possibilités pour les applications d’agents.
Article connexe
Les actions américaines atteignent un jalon historique alors que les géants de l'IA et de l'aérospatiale se préparent pour leur entrée boursière à la valeur du trillion de dollars.
Elon Musk, Sam Altman et Dario Amodei, trois titans du secteur technologique, s’approchent des introductions en bourse de leurs entreprises respectives. Avec SpaceX, OpenAI et Anthropic – trois géants de l’industrie dont les valorisations approchent
La startup suédoise en intelligence artificielle Lovable Eyes atteint une valorisation de 13,2 milliards de dollars après un tour de table majeur
Alors que les outils de codage alimentés par l’intelligence artificielle gagnent en popularité, la startup suédoise Lovable a levé des fonds lors d’un tour de table majeur. L’entreprise vise à collecter 3 milliards de dollars, ce qui pourrait porter
Google teste l'agent IA Remy pour Gemini à mesure que l'accent se déplace vers le contrôle utilisateur
Selon Business Insider, Google teste Remy, un nouvel agent personnel d’IA pour Gemini. Cet outil vise à exécuter des tâches au nom des utilisateurs, rationalisant ainsi les flux de travail professionnels et les routines quotidiennes.Actuellement, Re
Recommandations de sujets spéciaux liés
commentaires (0)
À mesure que la technologie de conversation basée sur l’IA évolue, OpenRouter a lancé deux nouvelles fonctionnalités — « Prompt Caching » et « Sticky Routing » — conçues pour réduire les coûts liés aux jetons lors des conversations à plusieurs échanges avec les agents. Cette innovation permet aux développeurs de réduire les dépenses lors d’interactions prolongées avec les agents, ce qui favorise une adoption plus large des applications d’agents.
Dans les conversations à plusieurs échanges, les agents renvoient fréquemment les mêmes invites système, définitions d’outils et instructions stratégiques. Même si l’utilisateur ne modifie qu’une seule entrée sur six échanges, chaque invite répétée entraîne des frais. La mise en cache des invites permet à OpenRouter de récupérer des données mises en cache, évitant ainsi le coût lié à la réémission d’invites identiques. Selon le fournisseur, les lectures en cache coûtent entre 0,1 et 0,5 fois le prix standard des entrées, ce qui réduit considérablement les dépenses. Par exemple, sur Claude Sonnet 4.6, les lectures en cache ne coûtent que 0,30 $ par million de tokens, contre 3,00 $ pour une entrée normale.

Pour maintenir l’efficacité de la mise en cache sur plusieurs tours de conversation, la fonctionnalité « Sticky Routing » d’OpenRouter envoie les requêtes suivantes au même fournisseur qui détient le cache « chaud », ce qui permet aux développeurs de bénéficier en permanence de lectures en cache à faible coût tout au long de la conversation.
Toutefois, pour tirer pleinement parti de cette innovation, les développeurs doivent conserver la même session tout au long de la conversation. Pour une mise en cache optimale, OpenRouter recommande de définir un session_id, qui active le « Sticky Routing » immédiatement après la première requête réussie — et pas seulement après un accès au cache. Les développeurs peuvent également vérifier l’utilisation du cache en consultant les données de réponse.
À mesure que la technologie d’IA progresse, la dernière fonctionnalité d’OpenRouter offre non seulement aux développeurs un puissant outil de maîtrise des coûts, mais ouvre également de nouvelles possibilités pour les applications d’agents.
Les actions américaines atteignent un jalon historique alors que les géants de l'IA et de l'aérospatiale se préparent pour leur entrée boursière à la valeur du trillion de dollars.
Elon Musk, Sam Altman et Dario Amodei, trois titans du secteur technologique, s’approchent des introductions en bourse de leurs entreprises respectives. Avec SpaceX, OpenAI et Anthropic – trois géants de l’industrie dont les valorisations approchent
La startup suédoise en intelligence artificielle Lovable Eyes atteint une valorisation de 13,2 milliards de dollars après un tour de table majeur
Alors que les outils de codage alimentés par l’intelligence artificielle gagnent en popularité, la startup suédoise Lovable a levé des fonds lors d’un tour de table majeur. L’entreprise vise à collecter 3 milliards de dollars, ce qui pourrait porter











