Das französische Startup ZML stellt ein kostenloses Tool vor, das die KI-Inferenz über mehrere Chips hinweg beschleunigt.

Nvidias Ära unkontrollierter Marktbeherrschung neigt sich dem Ende zu, doch aus allen Richtungen tauchen Konkurrenten und Alternativen auf.

ZML, ein bedeutendes französisches KI-Startup, das vom Turing-Preisträger Yann LeCun unterstützt wird, hat eine Software für die Inferenzleistung vorgestellt, die es verschiedenen Open-Source-Großsprachmodellen ermöglicht, auf unterschiedlicher Hardware zu laufen, darunter Nvidia, AMD, Google TPUs, Apple Metal und Intel Arc.

Durch ZML/LLMD, seinen neu eingeführten LLM-Inferenzserver, zielt das Unternehmen darauf ab, bestehende Silos aufzubrechen und die Geschwindigkeit verschiedener Chips für KI-Anwendungen zu maximieren, was oft aktuellen Benchmarks entspricht oder diese übertrifft, so ZML-Gründer Steeve Morin.

Da KI tiefer in berufliche und alltägliche Abläufe integriert wird, ist die Optimierung der Inferenz – das Verarbeiten von Benutzeranfragen – immer kritischer geworden, bleibt jedoch aufgrund von Software- und Architekturbarrieren fragmentiert, die häufig zu einer Anbieterbindung führen, bemerkte Morin.

Während die Bereitstellung maximaler Leistung über mehrere Chiptypen hinweg ein bedeutendes technisches Ergebnis ist, stellt sie auch eine potenzielle Marktstörung angesichts wachsender Bedenken über steigende KI-Kosten dar.

ZML beabsichtigt, Unternehmen und Cloud-Anbietern die Flexibilität zu bieten, eine hybride Mischung aus Chips zu nutzen, was möglicherweise Kosten und Energieverbrauch reduziert. „Unser Ziel ist es, Nutzer in die Lage zu versetzen, ihre eigenen Systeme zu erstellen und messbare Effizienzgewinne zu erzielen, was eine breitere KI-Adoption erleichtert“, erklärte Morin.

Diese Softwareunterstützung könnte aufstrebenden KI-Chipherstellern zugutekommen, insbesondere solchen mit Sitz in Europa, führte Morin aus und nannte Unternehmen wie Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud und VSORA. Er betont jedoch, dass ZMLs Fähigkeit zur Zusammenarbeit an beispiellosen Innovationen wichtiger ist als der geografische Ursprung.

Morin betrachtet Nvidia nicht negativ, hauptsächlich aufgrund seiner etablierten Lieferkette. Er sagte gegenüber TechCrunch, dass ZML eine starke Beziehung zu dem KI-Hardwaregiganten pflegt, der sich aktiv auf die wachsende Nachfrage nach Inferenzfähigkeiten vorbereitet.

Inferenz hat massive Investitionen angezogen und löste aus, was einige als den „Inferenz-Goldrausch“ bezeichnen. Folglich sieht sich ZML mit Spielern wie Baseten, kürzlich auf 13 Milliarden US-Dollar bewertet; Inferact, ausgegründet aus den Machern von vLLM; und RadixArk, der kommerziellen Entität hinter SGLang, konfrontiert.

Während vLLM und SGLang eine teilweise Überschneidung mit LLMD bieten, sieht Morin vor, dass ZML einen breiteren Umfang abdeckt. „Wir haben ein Stadium erreicht, in dem wir Silizium gemeinsam entwickeln“, sagte er. Er dankte auch ZMLs schlankem Team von 20 Mitarbeitern für das rasche Entwicklungstempo des in Paris ansässigen Startups, wobei weitere Updates geplant sind.

Das kleine Team ist ebenfalls gut kapitalisiert. Unter Nutzung seines Hintergrunds als VP of Engineering bei Zenly, das Snapchat 2017 für neunstellige Summen übernahm, sicherte sich Morin 20 Millionen US-Dollar von Investoren einschließlich 20VC, >commit, AALVC, Drysdale Ventures, Kima Ventures, Kindred Capital, LocalGlobe und Puzzle Ventures.

Im Gegensatz zu ZMLs anfänglichem Open-Source-Inferenzframework, das 2024 veröffentlicht und im März aktualisiert wurde, ist ZML/LLMD nicht Open Source. Es wird jedoch als kostenloses Tool eingeführt, um Nutzungsdaten zu sammeln. „Ich bevorzuge es, Auswirkungen zu messen und Einnahmen dort zu generieren, wo sie am wichtigsten sind, um unnötiges Wachstum durch vorzeitige Monetarisierung zu vermeiden“, sagte Morin.

Es bleibt unklar, wann ZML/LLDM möglicherweise auf ein bezahltes Modell umsteigen wird oder wie weit es angenommen wird. Dennoch signalisiert die Liste der Investoren des Startups starkes Interesse von Branchenführern, darunter Docker-Gründer Solomon Hykes, Hugging Faces Clément Delangue und Julien Chaumond sowie LeCun, der jetzt bei AMI Labs tätig ist. Dies untermauert die Argumentation, dass europäische KI-Startups lokal erfolgreich sein können. „Ich hätte ZML nirgendwo anders als in Paris aufbauen können“, schloss Morin.