苹果与LM Studio宣布达成突破性合作,四家基于Mac的工作室部署了拥有万亿参数的大型模型

WWDC上的突破性演示:在苹果硬件上运行万亿参数的人工智能模型
在最近举行的 WWDC 上,AI 软件平台 LM Studio 与苹果合作,展示了一项人工智能技术的突破性成果。 该团队成功利用由四台 Mac Studio 组成的集群,运行了 Moonshot AI 的旗舰模型 Kimi K2.6。此次演示清晰地展示了 Apple Silicon 架构在处理超大规模 AI 模型方面的强大能力。
Kimi K2.6模型基于先进的MoE架构构建,总参数数量高达一万亿。尽管该模型的动态专家调度系统通过每次仅激活约320亿个参数来降低推理过程中的计算负载,但加载整个模型仍面临巨大的内存挑战。 若采用FP16精度进行处理,则需要约2TB的内存。在传统数据中心环境中,要满足这一需求通常需要使用配备8至16块高端GPU的服务器集群,其成本可能高达数百万美元。
然而,此次演示通过一项创新的技术方案突破了这一限制。四台搭载 M3 Ultra 芯片的 Mac Studio 通过 Thunderbolt 5 接口相互连接,利用了最新 macOS 版本中支持的“Thunderbolt 上的 RDMA”(RDMA-over-Thunderbolt)技术。 这种方法实现了设备之间的直接内存共享,将总计 2TB 的统一内存有效整合为一个逻辑内存池。因此,该万亿参数模型得以顺利加载。在现场演示中,该集群表现出色,每秒生成约 28 个令牌,同时功耗远低于传统的基于 GPU 的计算中心。
除此次演示外,LM Studio 还作为合作项目的一部分推出了 LM Link。该工具基于 Tailscale Mesh VPN 架构构建,允许用户通过端到端加密连接,从任何地点安全地访问本地 Mac Studio 集群。 用户可通过 MacBook 或 iPhone 调用该集群的计算能力进行推理,无需亲临主机设备所在位置。所有敏感数据均在安全的闭环内本地处理,避免通过第三方云服务器进行传输。
此次演示不仅是一场技术展示,更向业界传递了一个明确信号。 Apple Silicon 凭借其统一内存设计和高效的多设备连接功能,正逐渐成为部署大型 AI 模型的可行选择。对于需要频繁且长期运行大型模型推理任务的组织而言,该解决方案通过硬件投资取代云服务,从而消除了与云服务相关的高昂成本,并随着时间的推移实现显著的成本节约。
随着消费级硬件集群性能的持续提升,采用人工智能技术的门槛正在进一步降低。这一成就表明,尖端人工智能创新的源泉将不再局限于拥有大型超级计算设施的少数科技巨头。在去中心化的计算格局下,近未来很可能涌现出新的发展机遇。
相关文章
美国股市触及历史里程碑,人工智能与航空航天巨头准备开启万亿美元时代
埃隆·马斯克、山姆·阿尔特曼和达里奥·阿莫迪,这三位科技领域的巨头,正推动其各自的企业迈向首次公开募股(IPO)。随着 SpaceX、OpenAI 和 Anthropic——这三家估值接近万亿美元的行业巨头——即将上市,2026 年被预测将成为美国历史上新股发行规模最大的一年。这一历史性的资本激增已引起全球金融界的关注,成为检验公共市场吸收如此大规模资金能力的关键压力测试。这些主要融资活动的同步启动预计将打破 2021 年创下的 1560 亿美元纪录。超级独角兽的资本博弈每家公司上市的路径
瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元
随着人工智能驱动的编码工具日益普及,瑞典初创公司 Lovable 已获一轮重大融资。该公司计划筹集 30 亿美元,其估值有望升至 132 亿美元——这是去年 12 月记录的 66 亿美元的两倍。预计 Menlo Ventures 将主导此次投资。Lovable 的吸引力源于其核心的“氛围编码”(vibe coding)技术,该技术通过消除对复杂编码技能的需求来简化软件开发。用户只需以自然语言描述其需求,系统即可自动生成应用程序。这种直观的方法吸引了个人开发者、设计师和小企业,并扩展至 Work
Google 测试 Remy AI 代理,以 Gemini 为重点转向用户控制
根据《商业内幕》的报道,谷歌正在测试 Remy,这是 Gemini 的一款全新 AI 个人代理工具。该工具旨在代表用户执行任务,从而简化专业工作流程和日常事务。目前,Remy 正在 Gemini 应用的内部员工专属版本中进行测试。该报告引用了一份内部文件以及对两位熟悉该项目的个人的采访。内部资料将 Remy 描述为“全天候个人代理”,将 Gemini 定位为能够代表用户行事的主动助手。接近该项目的消息人士证实,谷歌员工正在积极测试 Remy。谷歌发言人拒绝提供进一步评论。该报告未提及公开发布
相关专题推荐
评论 (0)
0/500

WWDC上的突破性演示:在苹果硬件上运行万亿参数的人工智能模型
在最近举行的 WWDC 上,AI 软件平台 LM Studio 与苹果合作,展示了一项人工智能技术的突破性成果。 该团队成功利用由四台 Mac Studio 组成的集群,运行了 Moonshot AI 的旗舰模型 Kimi K2.6。此次演示清晰地展示了 Apple Silicon 架构在处理超大规模 AI 模型方面的强大能力。
Kimi K2.6模型基于先进的MoE架构构建,总参数数量高达一万亿。尽管该模型的动态专家调度系统通过每次仅激活约320亿个参数来降低推理过程中的计算负载,但加载整个模型仍面临巨大的内存挑战。 若采用FP16精度进行处理,则需要约2TB的内存。在传统数据中心环境中,要满足这一需求通常需要使用配备8至16块高端GPU的服务器集群,其成本可能高达数百万美元。
然而,此次演示通过一项创新的技术方案突破了这一限制。四台搭载 M3 Ultra 芯片的 Mac Studio 通过 Thunderbolt 5 接口相互连接,利用了最新 macOS 版本中支持的“Thunderbolt 上的 RDMA”(RDMA-over-Thunderbolt)技术。 这种方法实现了设备之间的直接内存共享,将总计 2TB 的统一内存有效整合为一个逻辑内存池。因此,该万亿参数模型得以顺利加载。在现场演示中,该集群表现出色,每秒生成约 28 个令牌,同时功耗远低于传统的基于 GPU 的计算中心。
除此次演示外,LM Studio 还作为合作项目的一部分推出了 LM Link。该工具基于 Tailscale Mesh VPN 架构构建,允许用户通过端到端加密连接,从任何地点安全地访问本地 Mac Studio 集群。 用户可通过 MacBook 或 iPhone 调用该集群的计算能力进行推理,无需亲临主机设备所在位置。所有敏感数据均在安全的闭环内本地处理,避免通过第三方云服务器进行传输。
此次演示不仅是一场技术展示,更向业界传递了一个明确信号。 Apple Silicon 凭借其统一内存设计和高效的多设备连接功能,正逐渐成为部署大型 AI 模型的可行选择。对于需要频繁且长期运行大型模型推理任务的组织而言,该解决方案通过硬件投资取代云服务,从而消除了与云服务相关的高昂成本,并随着时间的推移实现显著的成本节约。
随着消费级硬件集群性能的持续提升,采用人工智能技术的门槛正在进一步降低。这一成就表明,尖端人工智能创新的源泉将不再局限于拥有大型超级计算设施的少数科技巨头。在去中心化的计算格局下,近未来很可能涌现出新的发展机遇。
美国股市触及历史里程碑,人工智能与航空航天巨头准备开启万亿美元时代
埃隆·马斯克、山姆·阿尔特曼和达里奥·阿莫迪,这三位科技领域的巨头,正推动其各自的企业迈向首次公开募股(IPO)。随着 SpaceX、OpenAI 和 Anthropic——这三家估值接近万亿美元的行业巨头——即将上市,2026 年被预测将成为美国历史上新股发行规模最大的一年。这一历史性的资本激增已引起全球金融界的关注,成为检验公共市场吸收如此大规模资金能力的关键压力测试。这些主要融资活动的同步启动预计将打破 2021 年创下的 1560 亿美元纪录。超级独角兽的资本博弈每家公司上市的路径
瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元
随着人工智能驱动的编码工具日益普及,瑞典初创公司 Lovable 已获一轮重大融资。该公司计划筹集 30 亿美元,其估值有望升至 132 亿美元——这是去年 12 月记录的 66 亿美元的两倍。预计 Menlo Ventures 将主导此次投资。Lovable 的吸引力源于其核心的“氛围编码”(vibe coding)技术,该技术通过消除对复杂编码技能的需求来简化软件开发。用户只需以自然语言描述其需求,系统即可自动生成应用程序。这种直观的方法吸引了个人开发者、设计师和小企业,并扩展至 Work





首页






