OpenRouter, AI 다단계 대화 비용을 대폭 절감하는 기술 출시
AI 대화 기술이 발전함에 따라, OpenRouter는 다단계 에이전트 대화에서 토큰 비용을 절감하기 위해 설계된 두 가지 새로운 기능인 ‘프롬프트 캐싱(Prompt Caching)’과 ‘스티키 라우팅(Sticky Routing)’을 출시했습니다. 이 혁신을 통해 개발자는 에이전트와의 장시간 상호작용 시 비용을 절감할 수 있어, 에이전트 애플리케이션의 폭넓은 채택을 촉진합니다.
다단계 대화에서 에이전트는 동일한 시스템 프롬프트, 도구 정의 및 전략 지침을 빈번하게 재전송합니다. 사용자가 6라운드에 걸쳐 단 하나의 입력만 변경하더라도, 반복되는 각 프롬프트마다 비용이 발생합니다. 프롬프트 캐싱 기능을 통해 OpenRouter는 캐시된 데이터를 불러와 동일한 프롬프트를 재전송하는 데 드는 비용을 절감할 수 있습니다. 프로바이더에 따라 캐시된 데이터 읽기 비용은 표준 입력 가격의 0.1~0.5배 수준으로, 비용을 크게 절감해 줍니다. 예를 들어, Claude Sonnet 4.6의 경우 캐시된 데이터 읽기 비용은 100만 토큰당 0.30달러에 불과한 반면, 일반 입력 비용은 3.00달러입니다.

여러 턴에 걸쳐 캐시의 효율성을 유지하기 위해, OpenRouter의 스티키 라우팅(Sticky Routing) 기능은 후속 요청을 핫 캐시를 보유한 동일한 제공업체로 전송하여, 개발자가 대화 전반에 걸쳐 일관되게 저비용 캐시 읽기 혜택을 누릴 수 있도록 합니다.
다만, 이 혁신 기능을 최대한 활용하려면 개발자가 대화 전반에 걸쳐 동일한 세션을 유지해야 합니다. 최적의 캐싱을 위해 OpenRouter는 session_id를 설정할 것을 권장합니다. 이렇게 하면 캐시 히트 시뿐만 아니라 첫 번째 요청이 성공한 직후부터 스티키 라우팅이 즉시 활성화됩니다. 또한 개발자는 응답 데이터를 확인하여 캐시 사용 현황을 파악할 수 있습니다.
AI 기술이 발전함에 따라, OpenRouter의 최신 기능은 개발자에게 강력한 비용 관리 도구를 제공할 뿐만 아니라 에이전트 애플리케이션에 새로운 가능성을 열어줍니다.
관련 기사
미국의 주식 시장이 AI와 항공우주 거대 기업들의 1조 달러 데뷔를 앞두고 역사적 이정표에 도달
엘론 머스크, 샘 알트만, 그리고 다리오 아모데이라는 기술 산업의 거인 세 명이 각자의 기업에 대해 공개 시장 상장(IPO)을 앞두고 있다. 스페이스X, 오픈AI, 앤트로픽이라는 세 산업의 거대 기업이 1조 달러 이상의 기업 가치를 달성하며 상장을 준비함에 따라, 2026년은 미국 역사상 신주 발행 측면에서 가장 중요한 해가 될 것으로 전망된다.이러한 역사적인 자본 증가는 전 세계 금융계의 주목을 받고 있으며, 공공 시장이 이러한 규모의 자금
스웨덴의 AI 스타트업 로버블 아이즈, 주요 자금 조달 라운드 이후 132억 달러의 기업 가치 달성
AI 기반 코딩 도구가 인기를 얻으면서 스웨덴 스타트업 로버블(Lovable)이 주요 자금 조달 라운드를 성사시켰다. 이 회사는 30억 달러를 조달하여 지난 12월 기록된 66억 달러의 두 배인 132억 달러의 기업 가치를 달성할 수 있을 것으로 기대된다. 멘로 벤처스(Menlo Ventures)가 이 투자 라운드를 주도할 것으로 예상된다.로버블의 매력은 복잡한 코딩 기술이 필요하지 않은 소프트웨어 제작을 단순화하는 핵심 '바이브 코딩(vib
구글, 사용자 제어 강화에 맞춰 제미니용 레미 AI 에이전트 테스트
비즈니스 인사이더에 따르면, 구글은 제미나이를 위한 새로운 AI 개인 에이전트인 레미를 테스트하고 있습니다. 이 도구는 사용자를 대신하여 작업을 실행하여 전문적인 워크플로우와 일상적인 루틴을 모두 간소화하는 것을 목표로 합니다.현재 레미는 제미나이 애플리케이션의 내부 직원 전용 버전에서 테스트 중입니다. 이 보고서는 내부 문서와 프로젝트에 정통한 두 명의 인물과의 인터뷰를 인용합니다. 내부 자료는 레미를 “24/7 개인 에이전트”로 묘사하며,
관련 특별 주제 추천
의견 (0)
0/500
AI 대화 기술이 발전함에 따라, OpenRouter는 다단계 에이전트 대화에서 토큰 비용을 절감하기 위해 설계된 두 가지 새로운 기능인 ‘프롬프트 캐싱(Prompt Caching)’과 ‘스티키 라우팅(Sticky Routing)’을 출시했습니다. 이 혁신을 통해 개발자는 에이전트와의 장시간 상호작용 시 비용을 절감할 수 있어, 에이전트 애플리케이션의 폭넓은 채택을 촉진합니다.
다단계 대화에서 에이전트는 동일한 시스템 프롬프트, 도구 정의 및 전략 지침을 빈번하게 재전송합니다. 사용자가 6라운드에 걸쳐 단 하나의 입력만 변경하더라도, 반복되는 각 프롬프트마다 비용이 발생합니다. 프롬프트 캐싱 기능을 통해 OpenRouter는 캐시된 데이터를 불러와 동일한 프롬프트를 재전송하는 데 드는 비용을 절감할 수 있습니다. 프로바이더에 따라 캐시된 데이터 읽기 비용은 표준 입력 가격의 0.1~0.5배 수준으로, 비용을 크게 절감해 줍니다. 예를 들어, Claude Sonnet 4.6의 경우 캐시된 데이터 읽기 비용은 100만 토큰당 0.30달러에 불과한 반면, 일반 입력 비용은 3.00달러입니다.

여러 턴에 걸쳐 캐시의 효율성을 유지하기 위해, OpenRouter의 스티키 라우팅(Sticky Routing) 기능은 후속 요청을 핫 캐시를 보유한 동일한 제공업체로 전송하여, 개발자가 대화 전반에 걸쳐 일관되게 저비용 캐시 읽기 혜택을 누릴 수 있도록 합니다.
다만, 이 혁신 기능을 최대한 활용하려면 개발자가 대화 전반에 걸쳐 동일한 세션을 유지해야 합니다. 최적의 캐싱을 위해 OpenRouter는 session_id를 설정할 것을 권장합니다. 이렇게 하면 캐시 히트 시뿐만 아니라 첫 번째 요청이 성공한 직후부터 스티키 라우팅이 즉시 활성화됩니다. 또한 개발자는 응답 데이터를 확인하여 캐시 사용 현황을 파악할 수 있습니다.
AI 기술이 발전함에 따라, OpenRouter의 최신 기능은 개발자에게 강력한 비용 관리 도구를 제공할 뿐만 아니라 에이전트 애플리케이션에 새로운 가능성을 열어줍니다.
미국의 주식 시장이 AI와 항공우주 거대 기업들의 1조 달러 데뷔를 앞두고 역사적 이정표에 도달
엘론 머스크, 샘 알트만, 그리고 다리오 아모데이라는 기술 산업의 거인 세 명이 각자의 기업에 대해 공개 시장 상장(IPO)을 앞두고 있다. 스페이스X, 오픈AI, 앤트로픽이라는 세 산업의 거대 기업이 1조 달러 이상의 기업 가치를 달성하며 상장을 준비함에 따라, 2026년은 미국 역사상 신주 발행 측면에서 가장 중요한 해가 될 것으로 전망된다.이러한 역사적인 자본 증가는 전 세계 금융계의 주목을 받고 있으며, 공공 시장이 이러한 규모의 자금
스웨덴의 AI 스타트업 로버블 아이즈, 주요 자금 조달 라운드 이후 132억 달러의 기업 가치 달성
AI 기반 코딩 도구가 인기를 얻으면서 스웨덴 스타트업 로버블(Lovable)이 주요 자금 조달 라운드를 성사시켰다. 이 회사는 30억 달러를 조달하여 지난 12월 기록된 66억 달러의 두 배인 132억 달러의 기업 가치를 달성할 수 있을 것으로 기대된다. 멘로 벤처스(Menlo Ventures)가 이 투자 라운드를 주도할 것으로 예상된다.로버블의 매력은 복잡한 코딩 기술이 필요하지 않은 소프트웨어 제작을 단순화하는 핵심 '바이브 코딩(vib





집






