法国初创公司ZML推出免费工具，加速跨多芯片的AI推理

Nvidia 不受制约的市场主导地位时代可能正在走向终结，然而竞争对手和替代方案正从各个角度涌现。

由图灵奖得主杨立昆（Yann LeCun）支持的法国知名 AI 初创公司 ZML，推出了一款推理性能软件，使各种开源大语言模型能够在包括 Nvidia、AMD、Google TPUs、Apple Metal 和 Intel Arc 在内的多种硬件上运行。

据 ZML 创始人 Steeve Morin 介绍，通过其新推出的 LLM 推理服务器 ZML/LLMD，该公司旨在打破现有的壁垒，并最大化不同芯片在 AI 应用中的速度，其性能通常与当前基准持平甚至超越。

Morin 指出，随着 AI 更深入地融入专业和日常生活，优化推理（即处理用户提示）变得日益关键，但由于软件和架构障碍，这一过程仍然碎片化，并经常导致供应商锁定。

虽然跨多种芯片类型提供峰值性能是一项重大的技术成就，但在人们对 AI 成本上升的担忧日益加剧的背景下，这也构成了潜在的市场颠覆。

ZML 打算为企业和云提供商提供利用混合芯片组合的灵活性，从而可能降低成本和能源消耗。Morin 解释道：“我们的目标是赋予用户构建自身系统的能力，实现切实的效率提升，从而促进更广泛的 AI 采用。”

Morin 指出，这种软件支持可能有利于新兴的 AI 芯片制造商，特别是那些位于欧洲的公司，他列举了 Axelera、Fractile、Kalray、OLIX、Q.ANT、SiPearl、SpiNNcloud 和 VSORA 等公司。然而，他强调 ZML 能够合作进行前所未有的创新，这比地理起源更为重要。

Morin 对 Nvidia 并无负面看法，这主要归功于其成熟的供应链。他告诉 TechCrunch，ZML 与这家 AI 硬件巨头保持着良好的关系，后者正在积极为日益增长的推理能力需求做准备。

推理领域吸引了巨额投资，引发了所谓的“推理淘金热”。因此，ZML 面临着来自 Baseten（最近估值为 130 亿美元）、从 vLLM 创建者中分拆出来的 Inferact，以及 SGLang 背后的商业实体 RadixArk 等玩家的竞争。

虽然 vLLM 和 SGLang 与 LLMD 有部分重叠，但 Morin 设想 ZML 覆盖更广泛的范围。他表示：“我们已经达到了共同设计硅芯片的阶段。”他还归功于 ZML 精简的 20 人团队，这使得这家巴黎初创公司能够保持快速开发节奏，未来还有更多更新计划。

该小团队资金也十分充足。利用其在 Zenly 担任工程副总裁的背景（Snapchat 于 2017 年以九位数价格收购了 Zenly），Morin 从包括 20VC、>commit、AALVC、Drysdale Ventures、Kima Ventures、Kindred Capital、LocalGlobe 和 Puzzle Ventures 在内的投资者那里获得了 2000 万美元的投资。

与 ZML 于 2024 年发布并于今年 3 月更新的初始开源推理框架不同，ZML/LLMD 并非开源。然而，它作为免费工具推出，以收集使用数据。Morin 说：“我更喜欢在最重要的地方衡量影响并产生收入，避免因过早货币化而造成的不必要增长阻碍。”

目前尚不清楚 ZML/LLMD 何时可能转向付费模式，以及其采用范围有多广泛。然而，该初创公司的投资者名单表明行业领导者对其表现出浓厚兴趣，包括 Docker 创始人 Solomon Hykes、Hugging Face 的 Clément Delangue 和 Julien Chaumond，以及目前在 AMI Labs 的 LeCun。这进一步证实了欧洲 AI 初创公司可以在本地蓬勃发展的观点。Morin 总结道：“除了巴黎，我无处可以建立 ZML。”