La startup française ZML dévoile un outil gratuit pour accélérer l’inférence IA sur plusieurs puces

L’ère de la suprématie incontestée du marché de Nvidia semble toucher à sa fin, tandis que des concurrents et des alternatives émergent de tous les côtés.

ZML, une startup française de l’IA de premier plan soutenue par le lauréat du prix Turing Yann LeCun, a dévoilé un logiciel de performance d’inférence permettant à divers grands modèles de langage open source de fonctionner sur des matériels diversifiés, incluant Nvidia, AMD, les TPUs de Google, Apple Metal et Intel Arc.

Grâce à ZML/LLMD, son nouveau serveur d’inférence LLM lancé récemment, l’entreprise vise à démanteler les silos existants et à maximiser la vitesse des différentes puces pour les applications d’IA, atteignant souvent ou dépassant les benchmarks actuels, selon le fondateur de ZML, Steeve Morin.

À mesure que l’IA s’intègre davantage dans les routines professionnelles et quotidiennes, l’optimisation de l’inférence – le traitement des invites utilisateur – est devenue de plus en plus critique, mais elle reste fragmentée en raison de barrières logicielles et architecturales qui entraînent fréquemment un verrouillage fournisseur, a noté Morin.

Si la livraison de performances optimales sur plusieurs types de puces constitue une réalisation technique majeure, elle pose également un potentiel de perturbation du marché dans un contexte de préoccupations croissantes concernant la hausse des coûts de l’IA.

ZML entend offrir aux entreprises et aux fournisseurs de cloud la flexibilité d’utiliser un mélange hybride de puces, réduisant potentiellement les coûts et la consommation énergétique. « Notre objectif est de permettre aux utilisateurs de construire leurs propres systèmes et d’obtenir des gains d’efficacité tangibles, facilitant ainsi une adoption plus large de l’IA », a expliqué Morin.

Ce support logiciel pourrait bénéficier aux fabricants de puces IA émergents, en particulier ceux basés en Europe, a fait remarquer Morin, citant des entreprises telles qu’Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud et VSORA. Cependant, il souligne que la capacité de ZML à collaborer sur des innovations sans précédent importe davantage que l’origine géographique.

Morin ne considère pas Nvidia de manière négative, principalement en raison de sa chaîne d’approvisionnement établie. Il a déclaré à TechCrunch que ZML entretient une relation solide avec le géant du matériel IA, qui se prépare activement à la demande croissante de capacités d’inférence.

L’inférence a attiré des investissements massifs, suscitant ce que certains appellent la « ruée vers l’or de l’inférence ». Par conséquent, ZML fait face à la concurrence de joueurs tels que Baseten, récemment évalué à 13 milliards de dollars ; Inferact, issu des créateurs de vLLM ; et RadixArk, l’entité commerciale derrière SGLang.

Bien que vLLM et SGLang offrent un chevauchement partiel avec LLMD, Morin envisage que ZML couvre un périmètre plus large. « Nous avons atteint un stade où nous co-concevons des puces », a-t-il déclaré. Il a également attribué à l’équipe réduite de 20 employés de ZML le rythme rapide de développement de la startup basée à Paris, avec plus de mises à jour prévues.

La petite équipe est également bien capitalisée. S’appuyant sur son expérience en tant que vice-président de l’ingénierie chez Zenly, acquise par Snapchat pour neuf chiffres en 2017, Morin a obtenu 20 millions de dollars d’investisseurs incluant 20VC, >commit, AALVC, Drysdale Ventures, Kima Ventures, Kindred Capital, LocalGlobe et Puzzle Ventures.

Contrairement au cadre d’inférence open source initial de ZML publié en 2024 et mis à jour en mars, ZML/LLMD n’est pas open source. Cependant, il est lancé en tant qu’outil gratuit pour recueillir des données d’utilisation. « Je préfère mesurer l’impact et générer des revenus là où cela compte le plus, en évitant les entraves à la croissance inutiles causées par une monétisation prématurée », a déclaré Morin.

Il reste incertain lorsque ZML/LLMD pourrait passer à un modèle payant ou dans quelle mesure il sera adopté. Néanmoins, la liste des investisseurs de la startup signale un fort intérêt de la part des leaders de l’industrie, y compris le fondateur de Docker Solomon Hykes, Clément Delangue et Julien Chaumond de Hugging Face, et LeCun, désormais à AMI Labs. Cela renforce l’argument selon lequel les startups européennes de l’IA peuvent prospérer localement. « Je n’aurais pas pu construire ZML nulle part ailleurs qu’à Paris », a conclu Morin.