選項
首頁
新聞
LFM2.5 DSpark 草案模型發布:推論速度提升 3.18 倍

LFM2.5 DSpark 草案模型發布:推論速度提升 3.18 倍

2026-09-21
6

Liquid AI 與 Hugging Face 已正式發布 LFM2.5 系列的 DSpark 草案模型檢查點,涵蓋 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 及 LFM2.5-8B-A1B。 這項創新技術引入了一種嶄新的推測性解碼路徑,在維持輸出品質的同時,顯著提升了推論吞吐量。

關鍵效能提升與實際應用

實際測試證實了 DSpark 令人印象深刻的加速效果。在 GPU 上,吞吐量最高可提升 3.18 倍;而在邊緣裝置上,提升幅度則高達 2.87 倍。

在邊緣代理推論中,LFM2.5-2.6B 將函式呼叫延遲平均降低 57%。經 M4 Max MacBook Pro 測試,其速度可達每秒 139 個標記,不僅降低了本地代理部署的門檻,更提供了媲美專有雲端模型的使用者體驗。

image.png

理解 DSpark 的架構與運作機制

傳統的大型語言模型(LLM)推論受限於記憶體頻寬,因為大部分時間都花在將權重從 DRAM 串流傳輸至 SRAM 上。投機性解碼透過使用輕量級草稿模型來生成候選標記,再由目標模型在單次前向傳播中進行驗證,從而解決此問題,並有效分散權重載入的成本。

DSpark 透過三個核心元件整合現有方法:

平行骨幹網路:與 DFlash 類似,它基於目標模型的上下文特徵,在單次前向傳遞中為所有草稿標記生成隱藏狀態。序列化頭(馬爾可夫頭): 透過模擬相鄰標記之間的馬可夫鏈,強化依賴關係並提升後續位置的接受率。信心調度驗證器:預測每個標記的存活機率,當驗證成本高於節省的成本時,自動捨棄信心度低的後綴。

在訓練方面,該草稿模型採用了包含 SFT、聊天、程式碼及函式呼叫等多元資料集的組合。經過嚴謹的剝離實驗後,初始版本採用了由 5 層和 9 個區塊組成的純注意力架構,參數數量維持在約 3 億左右。

image.png

品質保證與生態系統整合

由於採用推測性解碼,貪婪解碼僅接受與目標模型分佈完全匹配的草稿標記。被拒絕的標記將被目標模型的輸出取代,確保生成的序列與基準貪婪解碼結構一致,且在基準測試中不會造成準確度損失。

發布之際,DSpark 已實現與主流推論框架的相容性:

SGLang:透過專用的整合與啟動設定,支援在加速器上執行。llama.cpp:提供官方建置支援,讓使用者能透過命令列載入對應的 GGUF 權重與草稿模型檔案。

相關文章
Unitree 如何塑造人形機器人的未來 Unitree 如何塑造人形機器人的未來 Unitree 推出的全新具身人工智慧機器人,搭載超廣角 4D LiDAR 技術,可實現先進的實境導航。圖片來源:UnitreeUnitree 執行長王興興致力於實現世界模型的突破,以協助類人型機器人在進入陌生家庭環境時,能執行 80% 的任務隨著機器人產業逐步擺脫預先編排的表演模式,中國類人型機器人獨角獸 Unitree 正全力衝刺,致力解決真實世界中的認知適應性問題。儘管生成式人工智慧(Gen
為何 Abnormal AI 會與 OpenAI 在《Daybreak》節目中合作 為何 Abnormal AI 會與 OpenAI 在《Daybreak》節目中合作 OpenAI 網路安全產品主管 Michael Aiello | 圖片來源:Michael Aiello/LinkedInAbnormal AI 加入 OpenAI 的「Daybreak」計畫,麥可·艾耶洛表示,此次合作將加速企業採用實用的防禦措施領先的前沿人工智慧公司 OpenAI 已與 Abnormal AI 建立合作夥伴關係,協助企業在其業務及產品開發過程中,安全地運用頂尖的人工智慧模型。透
AI Agent Elements Claw 完成超導材料研發 AI Agent Elements Claw 完成超導材料研發 隨著人工智慧不斷拓展科學探索的邊界,一項重要的里程碑已然達成。7月3日,阿里巴巴達摩院攜手中國人民大學與中國科學院大學,共同推出「Elements Claw」——全球首個專門用於發現超導材料的人工智慧代理。 這項突破標誌著科學發現領域的轉變,使人工智慧從輔助角色轉變為獨立的研究夥伴,同時為新材料開發建立了高效的自動化框架。傳統的超導體搜尋方法向來以速度緩慢著稱,且高度依賴試錯法。儘管像 Super
相關專題推薦
健康與養生 最適合輪班工作者、時差恢復及建立更好作息的頂尖 AI 睡眠輔導工具
最適合輪班工作者、時差恢復及建立更好作息的頂尖 AI 睡眠輔導工具

2026 年最新最佳 AI 睡眠輔導工具,專為輪班工作者、時差恢復及建立更健康作息而設計!XIX.AI 精心精選了一系列備受好評、功能強大且能徹底改變現狀的工具,這些工具均經過實測驗證,可提供精準的指導。 您可查閱詳盡的免費版與付費版比較資訊,並了解這些必試解決方案如何協助提升睡眠品質、加速時差恢復,以及建立更健康的作息習慣。立即探索,找出最適合您的工具!

7 個工具
xix.ai
代碼 用於除錯 Python 錯誤、API 日誌和堆疊跟蹤的 ChatGPT 工具
用於除錯 Python 錯誤、API 日誌和堆疊跟蹤的 ChatGPT 工具

2026 年最新 ChatGPT Python 錯誤、API 日誌和堆疊跟蹤除錯工具,盡在 XIX.AI。這份精選頂級解決方案列表提供免費與付費對比、真實世界測試以及詳細排名,幫助您找到功能最強大的工具,顯著提升生產力並更快解決複雜技術問題。立即探索,發現您的完美解決方案!

9 個工具
xix.ai
文字轉語音 用於產品演示影片的人工智慧配音工具
用於產品演示影片的人工智慧配音工具

2026 年最新最佳頂級評分 AI 配音工具,用於產品演示影片,現已上線 XIX.AI!此精選列表包含強大且具顛覆性的選項,可幫助您快速建立專業級音訊內容,顯著提升演示效率。我們進行真實世界測試,並提供免費與付費版的對比以及每週更新的排名,以幫助您找到最合適的工具。立即探索,解鎖您的 AI 優勢!

10 個工具
xix.ai
商業 用於新創公司驗證的 AI 商業計畫工具
用於新創公司驗證的 AI 商業計畫工具

2026 年最新最佳 AI 商業計畫工具,助您驗證新創企業!XIX.AI 精選了一系列備受好評、功能強大且能改變遊戲規則的工具,這些工具均經過實際測試,可提供精準的結果。 您將在此找到免費版與付費版的對比分析、詳細排名,以及淺顯易懂的分析見解,助您選擇最理想的解決方案,並提升新創企業的成功率。立即探索,釋放您的 AI 競爭優勢!

9 個工具
xix.ai
聊天機器人 用於角色扮演和對話練習的 AI 聊天應用
用於角色扮演和對話練習的 AI 聊天應用

2026 年最新最佳角色扮演與對話練習 AI 聊天應用!XIX.AI 精心策劃了一份頂級評分列表,收錄了經過嚴格現實世界測試、能帶來卓越結果的重磅必備工具。您將找到詳細的免費與付費對比、全面排名,以及這些應用如何有效提升您的語言技能和溝通自信的見解。立即探索,發現最適合您的練習工具!

10 個工具
xix.ai
設計 最適合產品團隊的 AI 線框圖工具
最適合產品團隊的 AI 線框圖工具

2026 年最新、最佳且評價最高的 AI 線框圖工具,專為產品團隊打造!這份精心篩選的清單展示了多款強大且具顛覆性的解決方案,這些工具已通過實際測試與嚴格評比,能顯著提升工作效率。清單中包含詳盡的免費版與付費版比較,協助您找到最適合的工具。XIX.AI 提供專家見解,引導您做出決策。 立即探索,發掘最適合您的工具,並在產品開發中釋放您的 AI 優勢!

8 個工具
xix.ai
評論 (0)
0/500
OR