Lar
A OpenRouter lança tecnologia para reduzir drasticamente os custos das conversas com múltiplas trocas de mensagens baseadas em IA
À medida que a tecnologia de conversação com IA evolui, o OpenRouter lançou dois novos recursos — Prompt Caching e Sticky Routing — projetados para reduzir os custos com tokens em conversas com agentes que envolvem várias rodadas. Essa inovação permite que os desenvolvedores reduzam as despesas durante interações prolongadas com agentes, incentivando uma adoção mais ampla de aplicativos de atendimento.
Em conversas com várias trocas de mensagens, os agentes frequentemente reenviam os mesmos prompts do sistema, definições de ferramentas e instruções de estratégia. Mesmo que o usuário altere apenas uma entrada ao longo de seis rodadas, cada prompt repetido gera custos. O Prompt Caching permite que o OpenRouter recupere dados armazenados em cache, evitando o custo de reenviar prompts idênticos. Dependendo do provedor, as leituras em cache custam de 0,1 a 0,5 vezes o preço padrão da entrada, reduzindo significativamente as despesas. Por exemplo, no Claude Sonnet 4.6, as leituras em cache custam apenas US$ 0,30 por milhão de tokens, em comparação com US$ 3,00 para entradas normais.

Para manter a eficácia do cache ao longo de várias rodadas, o Sticky Routing do OpenRouter envia as solicitações subsequentes ao mesmo provedor que mantém o cache ativo, permitindo que os desenvolvedores desfrutem consistentemente de leituras em cache de baixo custo durante toda a conversa.
No entanto, para aproveitar ao máximo essa inovação, os desenvolvedores devem manter a mesma sessão durante todo o processo. Para um armazenamento em cache ideal, o OpenRouter recomenda definir um session_id, que ativa o Sticky Routing imediatamente após a primeira solicitação bem-sucedida — e não apenas após um acerto no cache. Os desenvolvedores também podem verificar o uso do cache analisando os dados da resposta.
À medida que a tecnologia de IA avança, o recurso mais recente do OpenRouter não apenas oferece aos desenvolvedores uma poderosa ferramenta de controle de custos, mas também abre novas possibilidades para aplicativos de atendimento.
Artigo relacionado
OpenAI atrai banqueiros da Wall Street com grandes salários e ações para remodelar as finanças
A OpenAI está intensificando seu avanço no setor de bancos de investimento, com recentes vagas de emprego revelando a busca por profissionais de investimentos com mais de dois anos de experiência para se juntarem à sua equipe de IA aplicada em São Fr
Cinco Ministérios Lançam Plano de IA Mais Educação para Desenvolver MOOCs de IA em Todos os Níveis Acadêmicos
Em 10 de abril, o Ministério da Educação, a Comissão Nacional de Desenvolvimento e Reforma, o Ministério da Indústria e Tecnologia da Informação, o Ministério da Ciência e Tecnologia e a Administração Nacional de Dados divulgaram conjuntamente o “Pla
A Seed, da ByteDance, lança campanha global de captação de talentos em campus universitários, oferecendo ações virtuais para conquistar os melhores especialistas em grandes modelos de inteligência artificial
No cenário competitivo dos grandes modelos de linguagem, garantir talentos de alto nível continua sendo o ativo estratégico mais crítico.Em 1º de abril, ByteDance anunciou o lançamento de sua iniciativa global de recrutamento campus Seed, parte de se
Recomendações de tópicos especiais relacionados
Comentários (0)
À medida que a tecnologia de conversação com IA evolui, o OpenRouter lançou dois novos recursos — Prompt Caching e Sticky Routing — projetados para reduzir os custos com tokens em conversas com agentes que envolvem várias rodadas. Essa inovação permite que os desenvolvedores reduzam as despesas durante interações prolongadas com agentes, incentivando uma adoção mais ampla de aplicativos de atendimento.
Em conversas com várias trocas de mensagens, os agentes frequentemente reenviam os mesmos prompts do sistema, definições de ferramentas e instruções de estratégia. Mesmo que o usuário altere apenas uma entrada ao longo de seis rodadas, cada prompt repetido gera custos. O Prompt Caching permite que o OpenRouter recupere dados armazenados em cache, evitando o custo de reenviar prompts idênticos. Dependendo do provedor, as leituras em cache custam de 0,1 a 0,5 vezes o preço padrão da entrada, reduzindo significativamente as despesas. Por exemplo, no Claude Sonnet 4.6, as leituras em cache custam apenas US$ 0,30 por milhão de tokens, em comparação com US$ 3,00 para entradas normais.

Para manter a eficácia do cache ao longo de várias rodadas, o Sticky Routing do OpenRouter envia as solicitações subsequentes ao mesmo provedor que mantém o cache ativo, permitindo que os desenvolvedores desfrutem consistentemente de leituras em cache de baixo custo durante toda a conversa.
No entanto, para aproveitar ao máximo essa inovação, os desenvolvedores devem manter a mesma sessão durante todo o processo. Para um armazenamento em cache ideal, o OpenRouter recomenda definir um session_id, que ativa o Sticky Routing imediatamente após a primeira solicitação bem-sucedida — e não apenas após um acerto no cache. Os desenvolvedores também podem verificar o uso do cache analisando os dados da resposta.
À medida que a tecnologia de IA avança, o recurso mais recente do OpenRouter não apenas oferece aos desenvolvedores uma poderosa ferramenta de controle de custos, mas também abre novas possibilidades para aplicativos de atendimento.
OpenAI atrai banqueiros da Wall Street com grandes salários e ações para remodelar as finanças
A OpenAI está intensificando seu avanço no setor de bancos de investimento, com recentes vagas de emprego revelando a busca por profissionais de investimentos com mais de dois anos de experiência para se juntarem à sua equipe de IA aplicada em São Fr
Cinco Ministérios Lançam Plano de IA Mais Educação para Desenvolver MOOCs de IA em Todos os Níveis Acadêmicos
Em 10 de abril, o Ministério da Educação, a Comissão Nacional de Desenvolvimento e Reforma, o Ministério da Indústria e Tecnologia da Informação, o Ministério da Ciência e Tecnologia e a Administração Nacional de Dados divulgaram conjuntamente o “Pla
A Seed, da ByteDance, lança campanha global de captação de talentos em campus universitários, oferecendo ações virtuais para conquistar os melhores especialistas em grandes modelos de inteligência artificial
No cenário competitivo dos grandes modelos de linguagem, garantir talentos de alto nível continua sendo o ativo estratégico mais crítico.Em 1º de abril, ByteDance anunciou o lançamento de sua iniciativa global de recrutamento campus Seed, parte de se











