OpenRouter 推出技術,大幅降低 AI 多輪對話成本
隨著 AI 對話技術的演進,OpenRouter 推出了兩項新功能——「提示緩存」與「固定路由」——旨在降低多輪客服對話中的代幣成本。這項創新讓開發者能在與客服的長時間互動中節省開支,從而促進客服應用程式的廣泛採用。
在多輪對話中,代理程式經常會重新傳送相同的系統提示、工具定義及策略指示。即使使用者在六輪對話中僅變更一項輸入內容,每次重複傳送的提示仍會產生費用。「提示快取」功能讓 OpenRouter 能調用快取資料,從而避免因重新傳送相同提示所產生的成本。 視服務供應商而定,快取讀取的費用僅為標準輸入價格的 0.1 至 0.5 倍,能顯著降低開支。例如,在 Claude Sonnet 4.6 上,快取讀取每百萬個 token 僅需 0.30 美元,而一般輸入則需 3.00 美元。

為了在多個回合中維持快取效能,OpenRouter 的「黏性路由」(Sticky Routing)會將後續請求發送至持有熱快取的同一服務供應商,讓開發人員能在整個對話過程中持續享有低成本的快取讀取服務。
然而,要充分利用這項創新功能,開發者必須在整個過程中保持相同的會話。為了達到最佳的快取效果,OpenRouter 建議設定 session_id,此舉將在首次成功請求後立即啟用「黏性路由」——而不僅是在快取命中之後。開發者亦可透過檢查回應資料來驗證快取的使用狀況。
隨著 AI 技術的進步,OpenRouter 的最新功能不僅為開發人員提供了一項強大的成本控制工具,更為代理應用程式開闢了新的可能性。
相關文章
Suno 在法律訴訟中為歌曲新增水印
Suno,這個允許使用者生成由人工智慧創作的音樂的平臺,近日推出了新功能,包括為平臺製作的曲目新增標籤、限制下載,並更新社羣標準以遏制未經授權的複製品。這些更新是在Suno面臨多家唱片公司和藝術家組織提起的多起訴訟之際推出的。在部落格文章中,聯合創始人兼執行長Mikey Shulman概述了核心原則,強調該平臺旨在促進原創創作,同時擴大更廣泛受眾對人工智慧音樂工具的訪問許可權。一個主要的爭議點在於,使用者將人工智慧生成的歌曲上傳到其他流媒體服務並透過操縱系統獲取收入。Suno表示,現在將採用音訊
馬斯克承認 Grok 構建過程中洩露了使用者程式碼,並承諾清除所有歷史資料
埃隆·馬斯克直接回應了圍繞 Grok Build 的隱私爭議,首先以簡單的“True”(屬實)確認了該事件的有效性。他承諾,此前上傳至 SpaceXAI 的所有使用者資料將被永久刪除,並表示“不留一個位元組”。這是人工智慧行業首次由主要科技領袖公開承認錯誤並主動刪除使用者資料。安全研究人員的“釣魚”測試揭示了資料洩露的具體證據此次爭議源於獨立人工智慧安全研究人員 @cereblab 的一份報告。SpaceXAI 推出的 AI 程式設計助手 Grok Build 在其官方網站上聲稱其“優先本地執行,程式碼
美國股市觸及歷史裡程碑,人工智慧與航空航天巨頭準備開啟萬億美元時代
埃隆·馬斯克、山姆·阿爾特曼和達里奧·阿莫迪,這三位科技領域的巨頭,正推動其各自的企業邁向首次公開募股(IPO)。隨著 SpaceX、OpenAI 和 Anthropic——這三家估值接近萬億美元的行業巨頭——即將上市,2026 年被預測將成為美國曆史上新股發行規模最大的一年。這一歷史性的資本激增已引起全球金融界的關注,成為檢驗公共市場吸收如此大規模資金能力的關鍵壓力測試。這些主要融資活動的同步啟動預計將打破 2021 年創下的 1560 億美元紀錄。超級獨角獸的資本博弈每家公司上市的路徑
相關專題推薦
評論 (0)
0/500
隨著 AI 對話技術的演進,OpenRouter 推出了兩項新功能——「提示緩存」與「固定路由」——旨在降低多輪客服對話中的代幣成本。這項創新讓開發者能在與客服的長時間互動中節省開支,從而促進客服應用程式的廣泛採用。
在多輪對話中,代理程式經常會重新傳送相同的系統提示、工具定義及策略指示。即使使用者在六輪對話中僅變更一項輸入內容,每次重複傳送的提示仍會產生費用。「提示快取」功能讓 OpenRouter 能調用快取資料,從而避免因重新傳送相同提示所產生的成本。 視服務供應商而定,快取讀取的費用僅為標準輸入價格的 0.1 至 0.5 倍,能顯著降低開支。例如,在 Claude Sonnet 4.6 上,快取讀取每百萬個 token 僅需 0.30 美元,而一般輸入則需 3.00 美元。

為了在多個回合中維持快取效能,OpenRouter 的「黏性路由」(Sticky Routing)會將後續請求發送至持有熱快取的同一服務供應商,讓開發人員能在整個對話過程中持續享有低成本的快取讀取服務。
然而,要充分利用這項創新功能,開發者必須在整個過程中保持相同的會話。為了達到最佳的快取效果,OpenRouter 建議設定 session_id,此舉將在首次成功請求後立即啟用「黏性路由」——而不僅是在快取命中之後。開發者亦可透過檢查回應資料來驗證快取的使用狀況。
隨著 AI 技術的進步,OpenRouter 的最新功能不僅為開發人員提供了一項強大的成本控制工具,更為代理應用程式開闢了新的可能性。
Suno 在法律訴訟中為歌曲新增水印
Suno,這個允許使用者生成由人工智慧創作的音樂的平臺,近日推出了新功能,包括為平臺製作的曲目新增標籤、限制下載,並更新社羣標準以遏制未經授權的複製品。這些更新是在Suno面臨多家唱片公司和藝術家組織提起的多起訴訟之際推出的。在部落格文章中,聯合創始人兼執行長Mikey Shulman概述了核心原則,強調該平臺旨在促進原創創作,同時擴大更廣泛受眾對人工智慧音樂工具的訪問許可權。一個主要的爭議點在於,使用者將人工智慧生成的歌曲上傳到其他流媒體服務並透過操縱系統獲取收入。Suno表示,現在將採用音訊
馬斯克承認 Grok 構建過程中洩露了使用者程式碼,並承諾清除所有歷史資料
埃隆·馬斯克直接回應了圍繞 Grok Build 的隱私爭議,首先以簡單的“True”(屬實)確認了該事件的有效性。他承諾,此前上傳至 SpaceXAI 的所有使用者資料將被永久刪除,並表示“不留一個位元組”。這是人工智慧行業首次由主要科技領袖公開承認錯誤並主動刪除使用者資料。安全研究人員的“釣魚”測試揭示了資料洩露的具體證據此次爭議源於獨立人工智慧安全研究人員 @cereblab 的一份報告。SpaceXAI 推出的 AI 程式設計助手 Grok Build 在其官方網站上聲稱其“優先本地執行,程式碼
美國股市觸及歷史裡程碑,人工智慧與航空航天巨頭準備開啟萬億美元時代
埃隆·馬斯克、山姆·阿爾特曼和達里奧·阿莫迪,這三位科技領域的巨頭,正推動其各自的企業邁向首次公開募股(IPO)。隨著 SpaceX、OpenAI 和 Anthropic——這三家估值接近萬億美元的行業巨頭——即將上市,2026 年被預測將成為美國曆史上新股發行規模最大的一年。這一歷史性的資本激增已引起全球金融界的關注,成為檢驗公共市場吸收如此大規模資金能力的關鍵壓力測試。這些主要融資活動的同步啟動預計將打破 2021 年創下的 1560 億美元紀錄。超級獨角獸的資本博弈每家公司上市的路徑





首頁






