Heim
OpenRounder bringt Technologie auf den Markt, die die Kosten für mehrstufige KI-Konversationen drastisch senkt
Im Zuge der Weiterentwicklung der KI-Konversationstechnologie hat OpenRouter zwei neue Funktionen eingeführt – „Prompt Caching“ und „Sticky Routing“ –, die darauf ausgelegt sind, die Token-Kosten bei mehrrundigen Agenten-Konversationen zu senken. Diese Innovation ermöglicht es Entwicklern, die Kosten bei längeren Interaktionen mit Agenten zu reduzieren, was eine breitere Nutzung von Agentenanwendungen fördert.
In Mehrrunden-Gesprächen senden Agenten häufig dieselben Systemaufforderungen, Tool-Definitionen und Strategieanweisungen erneut. Selbst wenn der Nutzer in sechs Runden nur eine Eingabe ändert, fallen für jede wiederholte Aufforderung Kosten an. Mit „Prompt Caching“ kann OpenRouter zwischengespeicherte Daten abrufen und so die Kosten für das erneute Senden identischer Aufforderungen umgehen. Je nach Anbieter kosten zwischengespeicherte Lesevorgänge das 0,1- bis 0,5-Fache des Standardpreises für Eingaben, was die Kosten erheblich senkt. Bei Claude Sonnet 4.6 beispielsweise kosten zwischengespeicherte Lesevorgänge nur 0,30 US-Dollar pro Million Token, verglichen mit 3,00 US-Dollar für normale Eingaben.

Um die Effektivität des Caches über mehrere Runden hinweg aufrechtzuerhalten, leitet das „Sticky Routing“ von OpenRouter nachfolgende Anfragen an denselben Anbieter weiter, der den „Hot Cache“ verwaltet, sodass Entwickler während der gesamten Konversation durchgehend von kostengünstigen Cache-Lesevorgängen profitieren können.
Um diese Innovation jedoch voll auszuschöpfen, müssen Entwickler während der gesamten Dauer dieselbe Sitzung beibehalten. Für ein optimales Caching empfiehlt OpenRouter die Festlegung einer `session_id`, die das „Sticky Routing“ unmittelbar nach der ersten erfolgreichen Anfrage aktiviert – nicht erst nach einem Cache-Treffer. Entwickler können die Cache-Nutzung zudem durch Überprüfung der Antwortdaten kontrollieren.
Mit dem Fortschritt der KI-Technologie bietet die neueste Funktion von OpenRouter Entwicklern nicht nur ein leistungsstarkes Werkzeug zur Kostenkontrolle, sondern eröffnet auch neue Möglichkeiten für Agentenanwendungen.
Verwandter Artikel
U.S.-Aktien erreichen historischen Meilenstein, während KI- und Luft- und Raumfahrtriesen auf ihr Debüt als Billionen-Dollar-Unternehmen vorbereiten
Elon Musk, Sam Altman und Dario Amodei, drei Giganten des Technologiesektors, schreiten den Börsengängen ihrer jeweiligen Unternehmen voran. Mit SpaceX, OpenAI und Anthropic – drei Branchenriesen, die einer Bewertung von einer Billion US-Dollar nahek
Schwedisches KI-Startup Lovable Eyes: Bewertung von 13,2 Milliarden US-Dollar nach großer Finanzierungsrunde
Während KI-gestützte Coding-Tools an Popularität gewinnen, hat das schwedische Startup Lovable eine bedeutende Finanzierungsrunde abgeschlossen. Das Unternehmen strebt danach, 3 Milliarden US-Dollar einzusammeln, was seine Bewertung potenziell auf 13
Google testet den Remy AI Agent für Gemini, da der Fokus auf die Benutzerkontrolle verlagert wird
Laut Business Insider testet Google Remy, einen neuen KI-Personalagenten für Gemini. Dieses Tool soll Aufgaben im Auftrag von Nutzern ausführen und sowohl professionelle Arbeitsabläufe als auch tägliche Routinen optimieren.Derzeit wird Remy in einer
Empfehlungen zu verwandten Spezialthemen
Kommentare (0)
Im Zuge der Weiterentwicklung der KI-Konversationstechnologie hat OpenRouter zwei neue Funktionen eingeführt – „Prompt Caching“ und „Sticky Routing“ –, die darauf ausgelegt sind, die Token-Kosten bei mehrrundigen Agenten-Konversationen zu senken. Diese Innovation ermöglicht es Entwicklern, die Kosten bei längeren Interaktionen mit Agenten zu reduzieren, was eine breitere Nutzung von Agentenanwendungen fördert.
In Mehrrunden-Gesprächen senden Agenten häufig dieselben Systemaufforderungen, Tool-Definitionen und Strategieanweisungen erneut. Selbst wenn der Nutzer in sechs Runden nur eine Eingabe ändert, fallen für jede wiederholte Aufforderung Kosten an. Mit „Prompt Caching“ kann OpenRouter zwischengespeicherte Daten abrufen und so die Kosten für das erneute Senden identischer Aufforderungen umgehen. Je nach Anbieter kosten zwischengespeicherte Lesevorgänge das 0,1- bis 0,5-Fache des Standardpreises für Eingaben, was die Kosten erheblich senkt. Bei Claude Sonnet 4.6 beispielsweise kosten zwischengespeicherte Lesevorgänge nur 0,30 US-Dollar pro Million Token, verglichen mit 3,00 US-Dollar für normale Eingaben.

Um die Effektivität des Caches über mehrere Runden hinweg aufrechtzuerhalten, leitet das „Sticky Routing“ von OpenRouter nachfolgende Anfragen an denselben Anbieter weiter, der den „Hot Cache“ verwaltet, sodass Entwickler während der gesamten Konversation durchgehend von kostengünstigen Cache-Lesevorgängen profitieren können.
Um diese Innovation jedoch voll auszuschöpfen, müssen Entwickler während der gesamten Dauer dieselbe Sitzung beibehalten. Für ein optimales Caching empfiehlt OpenRouter die Festlegung einer `session_id`, die das „Sticky Routing“ unmittelbar nach der ersten erfolgreichen Anfrage aktiviert – nicht erst nach einem Cache-Treffer. Entwickler können die Cache-Nutzung zudem durch Überprüfung der Antwortdaten kontrollieren.
Mit dem Fortschritt der KI-Technologie bietet die neueste Funktion von OpenRouter Entwicklern nicht nur ein leistungsstarkes Werkzeug zur Kostenkontrolle, sondern eröffnet auch neue Möglichkeiten für Agentenanwendungen.
U.S.-Aktien erreichen historischen Meilenstein, während KI- und Luft- und Raumfahrtriesen auf ihr Debüt als Billionen-Dollar-Unternehmen vorbereiten
Elon Musk, Sam Altman und Dario Amodei, drei Giganten des Technologiesektors, schreiten den Börsengängen ihrer jeweiligen Unternehmen voran. Mit SpaceX, OpenAI und Anthropic – drei Branchenriesen, die einer Bewertung von einer Billion US-Dollar nahek
Schwedisches KI-Startup Lovable Eyes: Bewertung von 13,2 Milliarden US-Dollar nach großer Finanzierungsrunde
Während KI-gestützte Coding-Tools an Popularität gewinnen, hat das schwedische Startup Lovable eine bedeutende Finanzierungsrunde abgeschlossen. Das Unternehmen strebt danach, 3 Milliarden US-Dollar einzusammeln, was seine Bewertung potenziell auf 13











