Дом
OpenRouter запускает технологию, позволяющую значительно сократить затраты на многоступенчатые диалоги с использованием ИИ
По мере развития технологий искусственного интеллекта в сфере диалогового взаимодействия компания OpenRouter представила две новые функции — «Кэширование подсказок» (Prompt Caching) и «Фиксированная маршрутизация» (Sticky Routing) — призванные сократить расходы на токены при многораундовых диалогах с агентами. Эта инновация позволяет разработчикам снизить затраты при длительных взаимодействиях с агентами, что способствует более широкому внедрению приложений с участием агентов.
В многораундовых диалогах агенты часто повторно отправляют одни и те же системные подсказки, определения инструментов и инструкции по стратегии. Даже если пользователь изменяет только один вводный параметр за шесть раундов, за каждую повторную подсказку взимается плата. Функция «Кэширование подсказок» позволяет OpenRouter извлекать данные из кэша, тем самым избегая затрат на повторную отправку идентичных подсказок. В зависимости от провайдера чтение данных из кэша обходится в 0,1–0,5 раза дешевле, чем стандартная стоимость ввода, что значительно снижает расходы. Например, на Claude Sonnet 4.6 чтение данных из кэша стоит всего 0,30 доллара за миллион токенов, тогда как обычный ввод — 3,00 доллара.

Чтобы сохранить эффективность кэша на протяжении нескольких раундов, функция Sticky Routing от OpenRouter направляет последующие запросы тому же провайдеру, у которого находится «горячий» кэш, что позволяет разработчикам стабильно пользоваться недорогим чтением из кэша на протяжении всего диалога.
Однако, чтобы в полной мере воспользоваться преимуществами этой инновации, разработчики должны сохранять одну и ту же сессию на протяжении всего диалога. Для оптимального кэширования OpenRouter рекомендует установить session_id, который активирует функцию Sticky Routing сразу после первого успешного запроса, а не только после попадания в кэш. Разработчики также могут проверить использование кэша, проанализировав данные ответа.
По мере развития технологий искусственного интеллекта новая функция OpenRouter не только предоставляет разработчикам мощный инструмент контроля затрат, но и открывает новые возможности для приложений-агентов.
Связанная статья
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её
Google тестирует агента Remy AI для Gemini по мере смещения фокуса на управление пользователями
Согласно Business Insider, Google тестирует Remy, нового ИИ-персонального агента для Gemini. Этот инструмент предназначен для выполнения задач от имени пользователей, упрощая как профессиональные рабочие процессы, так и повседневные рутины.В настоящ
Как исправить Core Web Vitals для улучшения позиций в поисковой выдаче
Оптимизация написания комментариев в отчетных карточках с помощью ИИ-инструментовВведениеИИ-инструменты для генерации комментариев в отчетных карточкахMagic SchoolAlmanac AIChat GPTИспользование Magic School для генерации комментариев в отчетны
Рекомендации по связанным специальным темам
Комментарии (0)
По мере развития технологий искусственного интеллекта в сфере диалогового взаимодействия компания OpenRouter представила две новые функции — «Кэширование подсказок» (Prompt Caching) и «Фиксированная маршрутизация» (Sticky Routing) — призванные сократить расходы на токены при многораундовых диалогах с агентами. Эта инновация позволяет разработчикам снизить затраты при длительных взаимодействиях с агентами, что способствует более широкому внедрению приложений с участием агентов.
В многораундовых диалогах агенты часто повторно отправляют одни и те же системные подсказки, определения инструментов и инструкции по стратегии. Даже если пользователь изменяет только один вводный параметр за шесть раундов, за каждую повторную подсказку взимается плата. Функция «Кэширование подсказок» позволяет OpenRouter извлекать данные из кэша, тем самым избегая затрат на повторную отправку идентичных подсказок. В зависимости от провайдера чтение данных из кэша обходится в 0,1–0,5 раза дешевле, чем стандартная стоимость ввода, что значительно снижает расходы. Например, на Claude Sonnet 4.6 чтение данных из кэша стоит всего 0,30 доллара за миллион токенов, тогда как обычный ввод — 3,00 доллара.

Чтобы сохранить эффективность кэша на протяжении нескольких раундов, функция Sticky Routing от OpenRouter направляет последующие запросы тому же провайдеру, у которого находится «горячий» кэш, что позволяет разработчикам стабильно пользоваться недорогим чтением из кэша на протяжении всего диалога.
Однако, чтобы в полной мере воспользоваться преимуществами этой инновации, разработчики должны сохранять одну и ту же сессию на протяжении всего диалога. Для оптимального кэширования OpenRouter рекомендует установить session_id, который активирует функцию Sticky Routing сразу после первого успешного запроса, а не только после попадания в кэш. Разработчики также могут проверить использование кэша, проанализировав данные ответа.
По мере развития технологий искусственного интеллекта новая функция OpenRouter не только предоставляет разработчикам мощный инструмент контроля затрат, но и открывает новые возможности для приложений-агентов.
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её
Как исправить Core Web Vitals для улучшения позиций в поисковой выдаче
Оптимизация написания комментариев в отчетных карточках с помощью ИИ-инструментовВведениеИИ-инструменты для генерации комментариев в отчетных карточкахMagic SchoolAlmanac AIChat GPTИспользование Magic School для генерации комментариев в отчетны











