法國初創公司ZML推出免費工具，加速跨多晶片的AI推理

Nvidia 不受制約的市場主導地位時代可能正在走向終結，然而競爭對手和替代方案正從各個角度湧現。

由圖靈獎得主楊立昆（Yann LeCun）支援的法國知名 AI 初創公司 ZML，推出了一款推理效能軟體，使各種開源大語言模型能夠在包括 Nvidia、AMD、Google TPUs、Apple Metal 和 Intel Arc 在內的多種硬體上執行。

據 ZML 創始人 Steeve Morin 介紹，透過其新推出的 LLM 推理伺服器 ZML/LLMD，該公司旨在打破現有的壁壘，並最大化不同晶片在 AI 應用中的速度，其效能通常與當前基準持平甚至超越。

Morin 指出，隨著 AI 更深入地融入專業和日常生活，最佳化推理（即處理使用者提示）變得日益關鍵，但由於軟體和架構障礙，這一過程仍然碎片化，並經常導致供應商鎖定。

雖然跨多種晶片型別提供峰值效能是一項重大的技術成就，但在人們對 AI 成本上升的擔憂日益加劇的背景下，這也構成了潛在的市場顛覆。

ZML 打算為企業和雲提供商提供利用混合晶片組合的靈活性，從而可能降低成本和能源消耗。Morin 解釋道：“我們的目標是賦予使用者構建自身系統的能力，實現切實的效率提升，從而促進更廣泛的 AI 採用。”

Morin 指出，這種軟體支援可能有利於新興的 AI 晶片製造商，特別是那些位於歐洲的公司，他列舉了 Axelera、Fractile、Kalray、OLIX、Q.ANT、SiPearl、SpiNNcloud 和 VSORA 等公司。然而，他強調 ZML 能夠合作進行前所未有的創新，這比地理起源更為重要。

Morin 對 Nvidia 並無負面看法，這主要歸功於其成熟的供應鏈。他告訴 TechCrunch，ZML 與這家 AI 硬體巨頭保持著良好的關係，後者正在積極為日益增長的推理能力需求做準備。

推理領域吸引了鉅額投資，引發了所謂的“推理淘金熱”。因此，ZML 面臨著來自 Baseten（最近估值為 130 億美元）、從 vLLM 建立者中分拆出來的 Inferact，以及 SGLang 背後的商業實體 RadixArk 等玩家的競爭。

雖然 vLLM 和 SGLang 與 LLMD 有部分重疊，但 Morin 設想 ZML 覆蓋更廣泛的範圍。他表示：“我們已經達到了共同設計矽晶片的階段。”他還歸功於 ZML 精簡的 20 人團隊，這使得這家巴黎初創公司能夠保持快速開發節奏，未來還有更多更新計劃。

該小團隊資金也十分充足。利用其在 Zenly 擔任工程副總裁的背景（Snapchat 於 2017 年以九位數價格收購了 Zenly），Morin 從包括 20VC、>commit、AALVC、Drysdale Ventures、Kima Ventures、Kindred Capital、LocalGlobe 和 Puzzle Ventures 在內的投資者那裡獲得了 2000 萬美元的投資。

與 ZML 於 2024 年釋出並於今年 3 月更新的初始開源推理框架不同，ZML/LLMD 並非開源。然而，它作為免費工具推出，以收集使用資料。Morin 說：“我更喜歡在最重要的地方衡量影響併產生收入，避免因過早貨幣化而造成的不必要增長阻礙。”

目前尚不清楚 ZML/LLMD 何時可能轉向付費模式，以及其採用範圍有多廣泛。然而，該初創公司的投資者名單表明行業領導者對其表現出濃厚興趣，包括 Docker 創始人 Solomon Hykes、Hugging Face 的 Clément Delangue 和 Julien Chaumond，以及目前在 AMI Labs 的 LeCun。這進一步證實了歐洲 AI 初創公司可以在本地蓬勃發展的觀點。Morin 總結道：“除了巴黎，我無處可以建立 ZML。”