選項
首頁
新聞
執行 AI 模型已成為記憶體方面的挑戰

執行 AI 模型已成為記憶體方面的挑戰

2026-04-09
116

執行 AI 模型已成為記憶體方面的挑戰

關於人工智慧基礎設施成本的討論,往往聚焦於 Nvidia 和 GPU,但記憶體正逐漸成為這幅拼圖中至關重要的一環。隨著超大規模雲端服務商投入數十億美元興建新資料中心,DRAM 晶片價格在過去一年間飆升了約七倍。

與此同時,一門新興學科正致力於協調管理這類記憶體,以確保正確的資料能在正確的時間傳遞給正確的AI代理。在這一領域表現卓越的企業,能夠以更少的代幣執行相同的查詢——這項差異足以決定企業在競爭激烈的市場中能否生存。

半導體分析師丹·奧拉夫林(Dan O’Laughlin)在其 Substack 專欄中,透過與 Weka 首席人工智慧官瓦爾·伯科維奇(Val Bercovici)的對談,針對記憶體晶片的重要性提出了極具說服力的觀點。兩位專家皆擁有半導體背景,因此他們的討論雖偏重硬體層面,但對人工智慧軟體的啟示同樣深遠。

其中一段內容尤為引人注目,伯科維奇在談及 Anthropic 提示詞快取文件日益複雜化的現象時指出:

線索就在 Anthropic 的提示緩存定價頁面。六七個月前,特別是 Claude Code 推出之際,這原本只是個簡單的頁面,基本上就是說:「使用緩存,更便宜。」現在,它讀起來就像是一本關於該預購多少次緩存寫入的建議百科全書。 你會看到業界常見的 5 分鐘和 1 小時時段——但沒有更長的時間段。這是一個耐人尋味的細節。當然,根據你預先購買的快取寫入次數,快取讀取定價周圍也存在各種套利機會。

核心問題在於 Claude 會在快取記憶體中保留你的提示語多久。你可以購買 5 分鐘的時段,或是更昂貴的 1 小時時段。存取仍留在快取中的資料成本遠低,因此有效的管理能帶來可觀的節省。然而,這裡有個陷阱:查詢中新增的每一筆資料,都可能將快取中的其他資料擠出。

儘管細節複雜,結論卻很明確:AI 模型內的記憶體管理將成為 AI 未來發展的重要因素。掌握這項技術的公司將獲得顯著的競爭優勢。

這個新興領域仍有相當大的發展空間。去年十月,我曾撰文介紹一家名為 TensorMesh 的新創公司,該公司正致力於開發堆疊中稱為「快取優化」的層級。

TechCrunch 活動

TechCrunch 創辦人峰會 2026:門票開售

6月23日,波士頓將迎來 超過1,100位創辦人 齊聚TechCrunch 2026創辦人峰會,展開一整天的深度探討,聚焦於成長策略、執行力與實務規模化。向塑造產業格局的創辦人與投資人學習,與處於相似成長階段的同儕交流,並帶回可立即應用的實戰策略

購買個人通行證可節省高達 300 美元四人以上團隊購買團體票更可享高達 30% 折扣。

TechCrunch 創辦人峰會:門票開售

6月23日,波士頓將迎來 超過1,100位創辦人聚TechCrunch 2026創辦人峰會,共度一整天,聚焦於成長、執行與實際規模化。向塑造產業的創辦人與投資者學習。與處於相似成長階段的同行建立聯繫。帶走可立即應用的實戰策略

購買通行證最高可$300,或透過四人以上團隊團體票享最高 30% 折扣。

麻薩諸塞州波士頓 | 2026年6月23日 立即註冊

技術疊層的其他環節也蘊藏著機會。例如,在更底層的層級,關鍵在於探討資料中心如何運用不同類型的記憶體。(訪談中包含一場關於何時該使用 DRAM 晶片與 HBM 的深刻討論,儘管內容相當技術性。)而在技術疊層的更高層級,終端使用者正學習如何架構其模型群,以有效利用共享快取。

隨著企業在記憶體調度方面的能力提升,其消耗的語素將減少,從而降低推論成本。與此同時,模型在處理每個語素時的效率也日益提升,進一步壓低了成本。隨著伺服器開支的減少,許多目前被視為不可行的應用將開始邁向獲利。

相關文章
前印孚瑟斯執行長的人工智慧初創公司再獲5300萬美元融資 前印孚瑟斯執行長的人工智慧初創公司再獲5300萬美元融資 Hang Ten Systems,一家由前印孚瑟斯(Infosys)執行長 Vishal Sikka 在四個月前創立的人工智慧初創公司,已獲得額外的 5300 萬美元種子輪融資。根據該公司向 TechCrunch 提供的宣告,這一最新投資輪次在初始 3200 萬美元種子輪融資結束僅僅五週後敲定。由淡馬錫旗下早期投資平臺 Xora 領投,這筆新資金使 Hang Ten 的總融資金額達到 8500 萬美元。此前領投的 Mayfield 也參與了本輪投資。其他知名投資者包括 Aramco Ven
加密貨幣交易所 OKX 旨在讓 AI 代理能夠相互僱用並支付報酬 加密貨幣交易所 OKX 旨在讓 AI 代理能夠相互僱用並支付報酬 隨著 AI 代理開始為個人提供服務並彼此協作,它們需要相關機制來尋找任務、獲得服務報酬,並建立可信度。加密貨幣交易所 OKX 預見這個未來將比預期來得更快,因此推出了一個市場平台,讓 AI 代理能夠相互招募、獨立處理支付,並維持可攜式的鏈上聲譽。該平台名為「OKX AI」,在與 50 家早期 AI 服務提供商進行閉門測試後,將於週二向開發者開放。此交易市場運用 OKX 既有的技術,使 AI 代理能
由蒂爾(Thiel)支持的新創公司聲稱,人工智慧能夠評斷新聞報導的品質,儘管這會對吹哨人構成風險 由蒂爾(Thiel)支持的新創公司聲稱,人工智慧能夠評斷新聞報導的品質,儘管這會對吹哨人構成風險 在參與那場導致 Gawker 破產的訴訟後,亞倫·德索薩(Aron D’Souza)發現了美國媒體環境中的一項關鍵缺陷:受到報導傷害的個人缺乏有效的回應途徑。他的解決方案是科技。德蘇扎的新創公司「Objection」運用人工智慧來評估新聞報導的準確性。 用戶只需支付 2,000 美元費用,即可對某則報導提出異議,從而啟動針對其主張的公開審查。(德蘇扎還創立了「Enhanced Games」,這是一
相關專題推薦
教育與學習 適用於作業與考試準備的人工智慧學習工具
適用於作業與考試準備的人工智慧學習工具

2026 年最新最佳 AI 學習工具,助您完成作業與備考!XIX.AI 精心整理了一份備受好評的清單,收錄了這些強大且具革命性、經實測驗證的工具,能幫助學生提升效率、簡化作業流程,並在考試中取得優異成績。 獲取免費版與付費版的比較、詳細排名,以及必試選項,以釋放您的 AI 優勢。立即探索!

10 個工具
xix.ai
音樂創作 面向詞曲創作者、旋律片段、主旋律及多語言草稿創作的AI人聲演示工具
面向詞曲創作者、旋律片段、主旋律及多語言草稿創作的AI人聲演示工具

2026 年最新最佳 AI 人聲演示工具,專為詞曲創作者、旋律創作者和多語言內容團隊打造!XIX.AI 精心整理了一份經過嚴格真實世界測試的高評分、變革性工具列表。您將找到詳細的免費與付費對比資料、全面排名以及必試選項,幫助您提升創作效率並釋放創意潛力。立即探索,發現滿足您所有內容需求的完美工具!

9 個工具
xix.ai
商業 最適合小型企業的頂尖 AI 競爭情勢分析工具
最適合小型企業的頂尖 AI 競爭情勢分析工具

2026 年最新、最佳且評價最高的中小企業 AI 競爭研究工具!XIX.AI 精心精選了一系列極具威力且能改變遊戲規則的工具,並透過嚴謹的實測與詳細排名,每週更新內容。您可在此找到詳盡的免費版與付費版比較,協助您找出必試的工具,以提升工作效率並獲得競爭優勢。 立即探索,找出最適合您的工具!

9 個工具
xix.ai
圖像編輯 用於電商服裝、皮膚清潔和色彩一致性的 Photoshop AI 修圖工具
用於電商服裝、皮膚清潔和色彩一致性的 Photoshop AI 修圖工具

2026 年最新最佳 Photoshop AI 修圖工具,適用於電商服裝、皮膚清潔和色彩一致性!這份頂級精選列表包含強大的變革性解決方案,可幫助您提升寫作效率、簡化內容創作並輕鬆實現完美的視覺效果。每個工具都經過實際測試,並透過每週更新的排名進行驗證,同時提供免費與付費版本的詳細對比。由 XIX.AI 支援,這是任何希望發揮 AI 優勢的人必試指南。立即探索!

10 個工具
xix.ai
迅速的 適用於 ChatGPT 工作流程的最佳 AI 提示詞庫
適用於 ChatGPT 工作流程的最佳 AI 提示詞庫

2026 年最新、最受好評的 AI 提示詞庫,可優化各類 ChatGPT 工作流程。XIX.AI 精心蒐羅了一套強大且具革命性的精選集合,並經過嚴格的實際測試,以確保其表現卓越。 您可查閱詳盡的免費版與付費版比較分析,以及專家評比,助您挑選必試工具,從而提升工作效率並釋放您的 AI 優勢。立即探索!

11 個工具
xix.ai
教育與學習 面向教師、輔導老師和基於群體的學習專案的 AI 測驗構建平臺
面向教師、輔導老師和基於群體的學習專案的 AI 測驗構建平臺

2026年最新最佳AI測驗構建平臺,適用於教師、輔導老師和基於群體的學習專案!XIX.AI精心整理了一份頂級評分列表,包含經過現實世界測試的強力變革性工具,以提供準確的排名。這些必試平臺有助於提高寫作效率、簡化內容創作,並簡化各種學習場景中的測驗設計。立即探索,發現您解鎖教學AI優勢的理想工具!

13 個工具
xix.ai
評論 (1)
0/500
NicholasNelson
NicholasNelson 2026-05-07 08:00:57

這篇文章點出了AI發展中常被忽略的記憶體瓶頸,挺有意思的。大家都在搶GPU,但DRAM價格一年漲七倍也太誇張了吧!這會不會讓小公司更難玩得起AI啊?🤔

OR