M6 Intelligence 與清華大學開源專案 BitCPM-CANN 攜手,讓大型模型能在行動裝置上運行
MBLab 近期與清華大學及 OpenBMB 開源社群合作,發布並開源了一項在低位元大型模型訓練領域的重大突破:BitCPM-CANN。 此項里程碑式成果原生開發於華為的 Ascend 平台,推動了邊緣端 AI 大型模型的輕量化與工程化部署。

六倍記憶體優勢突破硬體限制
現已開源的 BitCPM-CANN 提供 0.5B、1B、3B 和 8B 四種規格。與同等規模的全精度模型直接比較時,其表現卓越。 相較於傳統的 BF16 精度,其在推論過程中可節省約六倍的記憶體,大幅降低運行大型模型所需的硬體資源。
對於行動裝置而言,這六倍的記憶體優勢意味著,過去需要頂級硬體才能運行的 8B 參數大型模型,如今已能在主流旗艦智慧型手機上流暢運行。這項顯著的記憶體餘裕,將直接加速邊緣端 AI 技術在行動平台上的採用與商業部署。
高保留率驗證了工程可重現性
儘管模型大小有所縮減,BitCPM-CANN 仍保持著極高的性能,能力保留率介於 90% 至 97.2% 之間。 針對三種較大的模型尺寸,性能保留率介於 95.7% 至 97.2% 之間;即使是體積最小的 0.5B 變體,保留率也超過 90%。
這些令人印象深刻的成果系統性地證明,低位元訓練方法具備強大的可擴展性與工程可重現性。 MBLab 已運用這些核心技術建立起全面的低位元訓練基礎架構,涵蓋完整的工程堆疊——包括環境適應、32K 長序列支援以及融合運算子——從而為未來在 Ascend 平台上的低位元訓練工作提供堅實的公開基礎設施。
相關文章
Google 測試 Remy AI 代理,以 Gemini 為重點轉向使用者控制
根據《商業內幕》的報道,谷歌正在測試 Remy,這是 Gemini 的一款全新 AI 個人代理工具。該工具旨在代表使用者執行任務,從而簡化專業工作流程和日常事務。目前,Remy 正在 Gemini 應用的內部員工專屬版本中進行測試。該報告引用了一份內部檔案以及對兩位熟悉該專案的個人的採訪。內部資料將 Remy 描述為“全天候個人代理”,將 Gemini 定位為能夠代表使用者行事的主動助手。接近該專案的訊息人士證實,谷歌員工正在積極測試 Remy。谷歌發言人拒絕提供進一步評論。該報告未提及公開發布
如何修復核心網頁指標以獲得更好的 SEO 排名
利用 AI 工具簡化成績單評語撰寫引言用於生成成績單評語的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成績單評語登入 Magic School選擇成績單評語工具為學生定製評語使用 Almanac AI 生成成績單評語設定課程與評分方案配置評語長度與學生資訊使用 Almanac AI 生成評語比較 Magic School 與 Almanac AI設定的便捷性可定製性與課程內容的整合速度與效率使用
Slackbot 成為 AI 智慧體
Slackbot,嵌入在Salesforce企業訊息平臺Slack中的自動化助手,正在演變為一個AI智慧體。Salesforce技術長Parker Harris設想它將達到與OpenAI的ChatGPT相媲美的病毒式傳播地位。這家雲軟體巨頭於週二推出了更新版的Slackbot。該新版AI驅動版本面向Business+和Enterprise+客戶,可直接在Slack內查詢資訊、起草電子郵件和安排會議。在獲得適當許可權的情況下,它還能與Microsoft Teams和Google Drive等企
相關專題推薦
評論 (0)
0/500
MBLab 近期與清華大學及 OpenBMB 開源社群合作,發布並開源了一項在低位元大型模型訓練領域的重大突破:BitCPM-CANN。 此項里程碑式成果原生開發於華為的 Ascend 平台,推動了邊緣端 AI 大型模型的輕量化與工程化部署。

六倍記憶體優勢突破硬體限制
現已開源的 BitCPM-CANN 提供 0.5B、1B、3B 和 8B 四種規格。與同等規模的全精度模型直接比較時,其表現卓越。 相較於傳統的 BF16 精度,其在推論過程中可節省約六倍的記憶體,大幅降低運行大型模型所需的硬體資源。
對於行動裝置而言,這六倍的記憶體優勢意味著,過去需要頂級硬體才能運行的 8B 參數大型模型,如今已能在主流旗艦智慧型手機上流暢運行。這項顯著的記憶體餘裕,將直接加速邊緣端 AI 技術在行動平台上的採用與商業部署。
高保留率驗證了工程可重現性
儘管模型大小有所縮減,BitCPM-CANN 仍保持著極高的性能,能力保留率介於 90% 至 97.2% 之間。 針對三種較大的模型尺寸,性能保留率介於 95.7% 至 97.2% 之間;即使是體積最小的 0.5B 變體,保留率也超過 90%。
這些令人印象深刻的成果系統性地證明,低位元訓練方法具備強大的可擴展性與工程可重現性。 MBLab 已運用這些核心技術建立起全面的低位元訓練基礎架構,涵蓋完整的工程堆疊——包括環境適應、32K 長序列支援以及融合運算子——從而為未來在 Ascend 平台上的低位元訓練工作提供堅實的公開基礎設施。
如何修復核心網頁指標以獲得更好的 SEO 排名
利用 AI 工具簡化成績單評語撰寫引言用於生成成績單評語的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成績單評語登入 Magic School選擇成績單評語工具為學生定製評語使用 Almanac AI 生成成績單評語設定課程與評分方案配置評語長度與學生資訊使用 Almanac AI 生成評語比較 Magic School 與 Almanac AI設定的便捷性可定製性與課程內容的整合速度與效率使用
Slackbot 成為 AI 智慧體
Slackbot,嵌入在Salesforce企業訊息平臺Slack中的自動化助手,正在演變為一個AI智慧體。Salesforce技術長Parker Harris設想它將達到與OpenAI的ChatGPT相媲美的病毒式傳播地位。這家雲軟體巨頭於週二推出了更新版的Slackbot。該新版AI驅動版本面向Business+和Enterprise+客戶,可直接在Slack內查詢資訊、起草電子郵件和安排會議。在獲得適當許可權的情況下,它還能與Microsoft Teams和Google Drive等企





首頁






