Sakana AI 的 AI 外掛程式簡化了大型模型的文件處理流程
大型語言模型在處理長篇文本時常面臨的困境——通常被稱為「記憶焦慮」——或許很快就會成為歷史。 近期,總部位於東京的 AI 新創公司 Sakana AI 發表了兩項突破性技術:Text-to-LoRA(T2L)與Doc-to-LoRA(D2L)。透過創新的「超級網路」架構,這些技術讓大型模型能在不到一秒的時間內「吸收」龐大文件或學習新任務,且無需重新訓練。

AI開發者長期以來面臨著艱難的取捨:要麼將冗長文件塞進聊天視窗——這會拖慢回應速度並消耗大量記憶體——要麼付出高昂成本來微調模型。Sakana AI 提供了第三種選擇。透過一次性預訓練費用,它能生成極小的權重插件(LoRA),從而實現低成本、高效的模型適應。
Doc-to-LoRA:記憶體需求從 12GB 降至僅 50MB
這正是本次最新版本中最令人驚豔的技術。若使用傳統方法處理一份 128,000 個標記(約 100,000 字)的文件,需耗費超過12GB的 VRAM 來儲存資訊。透過 D2L,模型能直接將這些資訊「消化」成小於50MB 的插件。
驚人速度:傳統技術處理一份文件需耗時 40 至 100 秒,而 D2L 僅需不到1 秒即可完成。
突破極限:它讓模型能處理長度達原始上下文視窗四倍的文本,在「大海撈針」式的檢索測試中實現近乎完美的準確度。
Text-to-LoRA:運用日常語言客製化 AI
Text-to-LoRA 讓模型反應更靈敏。使用者只需用自然語言描述任務——例如「幫我解決一道複雜的數學競賽題」——系統便會自動生成專用外掛程式以提升效能。實驗顯示,以此方式建立的適配器在數學與邏輯推理任務上,表現甚至優於從頭訓練的專用模型。
強大的跨模態技術:讓文字模型「看見」圖像
研究人員發現了一個意想不到的額外好處:D2L 展現出強大的跨模態能力。透過將視覺資訊映射到純文字模型的參數中,一個從未處理過圖像的模型,竟能以 **75.03%** 的準確度對圖像進行分類。
Sakana AI 的成就顯著降低了個人與企業自訂私有 AI 模型的門檻,同時為開發更輕量且智能的通用人工智慧(AGI)開闢了新途徑。
論文:https://arxiv.org/pdf/2602.15902
相關文章
六大科技巨頭向 Linux 基金會捐贈 1250 萬美元,以應對人工智慧漏洞噪音
為應對由人工智慧自動化工具產生的大量低質量安全報告,六家主要科技公司——Anthropic、亞馬遜(AWS)、GitHub、Google、Microsoft 和 OpenAI——共同向 Linux 基金會專案提供了 1250 萬美元 的資金支援。這項投資旨在減輕開源軟體(FOSS)維護者手動篩選的工作負擔,使他們能夠專注於真正的安全威脅。隨著人工智慧技術降低了漏洞發現的門檻,開源社羣正面臨前所未有的挑戰:無效報告:自動生成的 AI 報告使維護者應接不暇。雖然數量龐大,但這些提交往往缺乏深度,
馬斯克曾考慮將OpenAI留給他的孩子,而奧特曼正在作證
今早,OpenAI 執行長山姆·阿爾特曼出庭作證,回應前聯合創始人埃隆·馬斯克針對該公司企業結構提起的訴訟。當被問及馬斯克聲稱其他聯合創始人透過成立一家以營利為目的的子公司來推廣基於人工智慧的產品,從而“竊取了一家慈善機構”的說法時,阿爾特曼表現出明顯的猶豫。“這種說法甚至讓人難以理解,”阿爾特曼在停頓後說道,“我們成立的是全球最大的慈善機構之一。該基金會正在開展令人難以置信的工作,並將繼續做更多事情。”馬斯克的律師團隊指出,OpenAI 基金會目前持有的資產價值約為 2000 億美元
山姆·奧特曼引發關於人工智慧減速的辯論
在Apple Podcasts上收聽在Spotify上收聽OpenAI執行長薩姆·阿爾特曼(Sam Altman)最近表示,現在可能是時候“控制人工智慧的發展速度”,以便社會“在這些新的能力水平周圍加固自身”。在TechCrunch《Equity》播客的最新一期中,Kirsten Korosec、Sean O’Kane和我討論了阿爾特曼的言論可能由最近的一次駭客攻擊所觸發,該攻擊中一名OpenAI代理突破了Hugging Face的系統。Sean指出,雖然由AI代理執行的駭客攻擊是前所未
相關專題推薦
評論 (0)
0/500
大型語言模型在處理長篇文本時常面臨的困境——通常被稱為「記憶焦慮」——或許很快就會成為歷史。 近期,總部位於東京的 AI 新創公司 Sakana AI 發表了兩項突破性技術:Text-to-LoRA(T2L)與Doc-to-LoRA(D2L)。透過創新的「超級網路」架構,這些技術讓大型模型能在不到一秒的時間內「吸收」龐大文件或學習新任務,且無需重新訓練。

AI開發者長期以來面臨著艱難的取捨:要麼將冗長文件塞進聊天視窗——這會拖慢回應速度並消耗大量記憶體——要麼付出高昂成本來微調模型。Sakana AI 提供了第三種選擇。透過一次性預訓練費用,它能生成極小的權重插件(LoRA),從而實現低成本、高效的模型適應。
Doc-to-LoRA:記憶體需求從 12GB 降至僅 50MB
這正是本次最新版本中最令人驚豔的技術。若使用傳統方法處理一份 128,000 個標記(約 100,000 字)的文件,需耗費超過12GB的 VRAM 來儲存資訊。透過 D2L,模型能直接將這些資訊「消化」成小於50MB 的插件。
驚人速度:傳統技術處理一份文件需耗時 40 至 100 秒,而 D2L 僅需不到1 秒即可完成。
突破極限:它讓模型能處理長度達原始上下文視窗四倍的文本,在「大海撈針」式的檢索測試中實現近乎完美的準確度。
Text-to-LoRA:運用日常語言客製化 AI
Text-to-LoRA 讓模型反應更靈敏。使用者只需用自然語言描述任務——例如「幫我解決一道複雜的數學競賽題」——系統便會自動生成專用外掛程式以提升效能。實驗顯示,以此方式建立的適配器在數學與邏輯推理任務上,表現甚至優於從頭訓練的專用模型。
強大的跨模態技術:讓文字模型「看見」圖像
研究人員發現了一個意想不到的額外好處:D2L 展現出強大的跨模態能力。透過將視覺資訊映射到純文字模型的參數中,一個從未處理過圖像的模型,竟能以 **75.03%** 的準確度對圖像進行分類。
Sakana AI 的成就顯著降低了個人與企業自訂私有 AI 模型的門檻,同時為開發更輕量且智能的通用人工智慧(AGI)開闢了新途徑。
論文:https://arxiv.org/pdf/2602.15902
六大科技巨頭向 Linux 基金會捐贈 1250 萬美元,以應對人工智慧漏洞噪音
為應對由人工智慧自動化工具產生的大量低質量安全報告,六家主要科技公司——Anthropic、亞馬遜(AWS)、GitHub、Google、Microsoft 和 OpenAI——共同向 Linux 基金會專案提供了 1250 萬美元 的資金支援。這項投資旨在減輕開源軟體(FOSS)維護者手動篩選的工作負擔,使他們能夠專注於真正的安全威脅。隨著人工智慧技術降低了漏洞發現的門檻,開源社羣正面臨前所未有的挑戰:無效報告:自動生成的 AI 報告使維護者應接不暇。雖然數量龐大,但這些提交往往缺乏深度,
馬斯克曾考慮將OpenAI留給他的孩子,而奧特曼正在作證
今早,OpenAI 執行長山姆·阿爾特曼出庭作證,回應前聯合創始人埃隆·馬斯克針對該公司企業結構提起的訴訟。當被問及馬斯克聲稱其他聯合創始人透過成立一家以營利為目的的子公司來推廣基於人工智慧的產品,從而“竊取了一家慈善機構”的說法時,阿爾特曼表現出明顯的猶豫。“這種說法甚至讓人難以理解,”阿爾特曼在停頓後說道,“我們成立的是全球最大的慈善機構之一。該基金會正在開展令人難以置信的工作,並將繼續做更多事情。”馬斯克的律師團隊指出,OpenAI 基金會目前持有的資產價值約為 2000 億美元
山姆·奧特曼引發關於人工智慧減速的辯論
在Apple Podcasts上收聽在Spotify上收聽OpenAI執行長薩姆·阿爾特曼(Sam Altman)最近表示,現在可能是時候“控制人工智慧的發展速度”,以便社會“在這些新的能力水平周圍加固自身”。在TechCrunch《Equity》播客的最新一期中,Kirsten Korosec、Sean O’Kane和我討論了阿爾特曼的言論可能由最近的一次駭客攻擊所觸發,該攻擊中一名OpenAI代理突破了Hugging Face的系統。Sean指出,雖然由AI代理執行的駭客攻擊是前所未





首頁






