蘋果與 LM Studio 宣布建立突破性合作關係,四家以 Mac 為基礎的工作室將部署擁有兆級參數的大型模型

WWDC 突破性展示:在 Apple 硬體上運行一兆參數的人工智慧模型
在最近舉行的 WWDC 大會上,AI 軟體平台 LM Studio 與 Apple 合作,展示了一項人工智慧技術的突破性成就。 該團隊成功利用由四台 Mac Studio 組成的叢集,運行了 Moonshot AI 的旗艦模型 Kimi K2.6。這項展示清楚地說明了 Apple Silicon 架構在處理超大規模 AI 模型方面的強大能力。
Kimi K2.6 模型基於先進的 MoE 架構建置,總參數多達一兆個。雖然該模型的動態專家調度系統透過每次僅啟用約 320 億個參數,來降低推論過程中的運算負載,但載入整個模型仍面臨巨大的記憶體挑戰。 若以 FP16 精度進行處理,則需要約 2TB 的記憶體。在傳統的資料中心架構中,要滿足此需求通常需使用配備 8 至 16 顆高階 GPU 的伺服器叢集,成本可能高達數百萬美元。
然而,此次展示透過創新的技術方案克服了這項限制。四台配備 M3 Ultra 晶片的 Mac Studio 透過 Thunderbolt 5 介面相互連接,並利用最新 macOS 版本中支援的「Thunderbolt 上的 RDMA(RDMA-over-Thunderbolt)」技術。 此方法使裝置之間能夠直接共享記憶體,將總計 2TB 的統一記憶體有效整合為單一邏輯記憶體池。因此,該兆參數模型得以順利載入。在現場示範中,該叢集展現出強勁的效能,每秒可生成約 28 個標記(token),且功耗遠低於傳統基於 GPU 的運算中心。
除了這項展示外,LM Studio 亦在此次合作中推出了 LM Link。此工具基於 Tailscale Mesh VPN 架構建構,讓使用者能透過端對端加密連線,從任何地點安全地存取本地的 Mac Studio 叢集。 使用者無論透過 MacBook 或 iPhone,皆可利用該叢集的運算能力進行推論,無需親臨主機裝置旁。所有敏感資料均在安全的封閉迴路中進行本地處理,避免經由第三方雲端伺服器進行任何資料傳輸。
此次展示不僅是一場技術展示,更向業界傳達了明確的訊息。 Apple Silicon 憑藉其統一記憶體設計與高效的多裝置連線功能,正逐漸成為部署大型 AI 模型的可行選擇。對於需要頻繁且長期執行大型模型推論任務的組織而言,此解決方案透過以硬體投資取代雲端服務,消除了相關的高昂成本,並能隨時間推移帶來顯著的成本節省。
隨著消費級硬體叢集的性能持續提升,採用 AI 技術的門檻正進一步降低。這項成就表明,尖端 AI 創新的來源將不再僅限於擁有大型超級電腦設施的少數科技巨頭。在去中心化的運算格局下,近期很可能出現新的發展契機。
相關文章
如何修復核心網頁指標以獲得更好的 SEO 排名
利用 AI 工具簡化成績單評語撰寫引言用於生成成績單評語的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成績單評語登入 Magic School選擇成績單評語工具為學生定製評語使用 Almanac AI 生成成績單評語設定課程與評分方案配置評語長度與學生資訊使用 Almanac AI 生成評語比較 Magic School 與 Almanac AI設定的便捷性可定製性與課程內容的整合速度與效率使用
Slackbot 成為 AI 智慧體
Slackbot,嵌入在Salesforce企業訊息平臺Slack中的自動化助手,正在演變為一個AI智慧體。Salesforce技術長Parker Harris設想它將達到與OpenAI的ChatGPT相媲美的病毒式傳播地位。這家雲軟體巨頭於週二推出了更新版的Slackbot。該新版AI驅動版本面向Business+和Enterprise+客戶,可直接在Slack內查詢資訊、起草電子郵件和安排會議。在獲得適當許可權的情況下,它還能與Microsoft Teams和Google Drive等企
位元組跳動加大核心AI激勵,豆包增長14.6%
位元組跳動近日召開豆包股權說明會,公佈面向豆包部門員工的最新激勵政策。豆包股票的行權價已從2026年6月的14.85美元上調至17.02美元,漲幅約為14.6%。此次調整不僅提升了豆包股票的估值,還大幅擴大了其覆蓋範圍。根據員工崗位的不同,部分員工可能獲得相當於其總薪酬約5%的豆包股票。根據新的兌換機制,位元組跳動允許員工在整體薪酬包中,將部分現金工資兌換為豆包股權。兌換比例因職級而異,設有20%和30%等不同檔位。例如,L2和L3級員工可選擇20%的全覆蓋兌換比例,而L3和L4級員工的該比例可
相關專題推薦
評論 (0)
0/500

WWDC 突破性展示:在 Apple 硬體上運行一兆參數的人工智慧模型
在最近舉行的 WWDC 大會上,AI 軟體平台 LM Studio 與 Apple 合作,展示了一項人工智慧技術的突破性成就。 該團隊成功利用由四台 Mac Studio 組成的叢集,運行了 Moonshot AI 的旗艦模型 Kimi K2.6。這項展示清楚地說明了 Apple Silicon 架構在處理超大規模 AI 模型方面的強大能力。
Kimi K2.6 模型基於先進的 MoE 架構建置,總參數多達一兆個。雖然該模型的動態專家調度系統透過每次僅啟用約 320 億個參數,來降低推論過程中的運算負載,但載入整個模型仍面臨巨大的記憶體挑戰。 若以 FP16 精度進行處理,則需要約 2TB 的記憶體。在傳統的資料中心架構中,要滿足此需求通常需使用配備 8 至 16 顆高階 GPU 的伺服器叢集,成本可能高達數百萬美元。
然而,此次展示透過創新的技術方案克服了這項限制。四台配備 M3 Ultra 晶片的 Mac Studio 透過 Thunderbolt 5 介面相互連接,並利用最新 macOS 版本中支援的「Thunderbolt 上的 RDMA(RDMA-over-Thunderbolt)」技術。 此方法使裝置之間能夠直接共享記憶體,將總計 2TB 的統一記憶體有效整合為單一邏輯記憶體池。因此,該兆參數模型得以順利載入。在現場示範中,該叢集展現出強勁的效能,每秒可生成約 28 個標記(token),且功耗遠低於傳統基於 GPU 的運算中心。
除了這項展示外,LM Studio 亦在此次合作中推出了 LM Link。此工具基於 Tailscale Mesh VPN 架構建構,讓使用者能透過端對端加密連線,從任何地點安全地存取本地的 Mac Studio 叢集。 使用者無論透過 MacBook 或 iPhone,皆可利用該叢集的運算能力進行推論,無需親臨主機裝置旁。所有敏感資料均在安全的封閉迴路中進行本地處理,避免經由第三方雲端伺服器進行任何資料傳輸。
此次展示不僅是一場技術展示,更向業界傳達了明確的訊息。 Apple Silicon 憑藉其統一記憶體設計與高效的多裝置連線功能,正逐漸成為部署大型 AI 模型的可行選擇。對於需要頻繁且長期執行大型模型推論任務的組織而言,此解決方案透過以硬體投資取代雲端服務,消除了相關的高昂成本,並能隨時間推移帶來顯著的成本節省。
隨著消費級硬體叢集的性能持續提升,採用 AI 技術的門檻正進一步降低。這項成就表明,尖端 AI 創新的來源將不再僅限於擁有大型超級電腦設施的少數科技巨頭。在去中心化的運算格局下,近期很可能出現新的發展契機。
如何修復核心網頁指標以獲得更好的 SEO 排名
利用 AI 工具簡化成績單評語撰寫引言用於生成成績單評語的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成績單評語登入 Magic School選擇成績單評語工具為學生定製評語使用 Almanac AI 生成成績單評語設定課程與評分方案配置評語長度與學生資訊使用 Almanac AI 生成評語比較 Magic School 與 Almanac AI設定的便捷性可定製性與課程內容的整合速度與效率使用
Slackbot 成為 AI 智慧體
Slackbot,嵌入在Salesforce企業訊息平臺Slack中的自動化助手,正在演變為一個AI智慧體。Salesforce技術長Parker Harris設想它將達到與OpenAI的ChatGPT相媲美的病毒式傳播地位。這家雲軟體巨頭於週二推出了更新版的Slackbot。該新版AI驅動版本面向Business+和Enterprise+客戶,可直接在Slack內查詢資訊、起草電子郵件和安排會議。在獲得適當許可權的情況下,它還能與Microsoft Teams和Google Drive等企
位元組跳動加大核心AI激勵,豆包增長14.6%
位元組跳動近日召開豆包股權說明會,公佈面向豆包部門員工的最新激勵政策。豆包股票的行權價已從2026年6月的14.85美元上調至17.02美元,漲幅約為14.6%。此次調整不僅提升了豆包股票的估值,還大幅擴大了其覆蓋範圍。根據員工崗位的不同,部分員工可能獲得相當於其總薪酬約5%的豆包股票。根據新的兌換機制,位元組跳動允許員工在整體薪酬包中,將部分現金工資兌換為豆包股權。兌換比例因職級而異,設有20%和30%等不同檔位。例如,L2和L3級員工可選擇20%的全覆蓋兌換比例,而L3和L4級員工的該比例可





首頁






