L’approche élégante de Gimlet Labs pour résoudre les goulets d’étranglement liés à l’inference des IA

Professeur adjoint à Stanford et fondateur de startups prospères, Zain Asgar a levé 80 millions de dollars dans le cadre d’une série A pour une entreprise qui résout le problème du goulot d’étranglement lié aux inférences par intelligence artificielle d’une manière particulièrement innovante. Menlo Ventures a mené ce tour de financement.

La startup Gimlet Labs affirme avoir créé le premier et unique « cloud d’inférence multi-silicium » : un logiciel permettant à des tâches liées à l’intelligence artificielle de s’exécuter simultanément sur différents types de matériel. Il peut répartir les tâches entre des CPU classiques, des GPU optimisés pour l’IA et des systèmes dotés d’une grande capacité mémoire.

« Nous utilisons essentiellement tout le matériel disponible », a déclaré Asgar à TechCrunch.

« Un seul agent peut enchaîner plusieurs étapes, chacune nécessitant un type de matériel différent : l’inférence est limitée par les capacités de calcul, la décodage par la mémoire, et les appels aux outils par le réseau », écrit Tim Tully, investisseur principal chez Menlo, dans un article de blog consacré à ce financement.

Aucun chip ne permet encore de faire tout cela, mais avec l’introduction de nouveaux matériaux et la réutilisation de GPU plus anciens, « la flotte multi-silicium est prête – il ne manque que la couche logicielle pour qu’elle fonctionne ». C’est ce que Gimlet Labs propose selon Tully.

Si la tendance actuelle à déployer davantage de ressources de calcul se poursuit, McKinsey estime que les dépenses liées aux data centers pourraient atteindre près de 7 billions de dollars d’ici 2030. Asgar affirme que les applications actuelles n’utilisent le matériel existant qu’« entre 15 et 30 % » du temps.

« Une autre façon de voir les choses : vous gaspillez des centaines de milliards de dollars parce que vous laissez inutilisés certains ressources », a-t-il ajouté. « Notre objectif était essentiellement de trouver un moyen de rendre les tâches liées à l’IA 10 fois plus efficaces qu’avant, dès aujourd’hui. »

Ainsi, lui et ses co-fondateurs – Michelle Nguyen, Omid Azizi et Natalie Serrino – se sont attelés à créer un logiciel d’orchestration capable de diviser les tâches afin qu’elles puissent s’exécuter simultanément sur tous types de matériel.

Gimlet Labs affirme accélérer de 3 à 10 fois l’inférence par intelligence artificielle, tout en conservant le même coût énergétique. La société prétend même pouvoir diviser le modèle sous-jacent pour qu’il fonctionne sur différentes architectures, en utilisant le meilleur chip pour chaque partie.

L’entreprise a déjà collaboré avec des fabricants de chips tels que NVIDIA, AMD, Intel, ARM, Cerebras et d-Matrix.

Le produit de Gimlet – fourni sous forme de logiciel ou via une API vers son propre Gimlet Cloud – n’est pas destiné aux développeurs d’applications d’IA ordinaires. Il s’adresse plutôt aux plus grands laboratoires de modèles d’IA et aux data centers.

L’entreprise a été lancée publiquement en octobre, avec un chiffre d’affaires initial évalué à plusieurs dizaines de millions de dollars. Asgar indique que sa base de clients a plus que doublé au cours des quatre derniers mois et inclut désormais un grand fabricant de modèles ainsi qu’une très grande entreprise de cloud computing, bien qu’il ait refusé de les nommer.

Les co-fondateurs avaient précédemment travaillé ensemble chez Pixie, une startup qui avait développé un outil d’observabilité open source pour Kubernetes. Pixie a été rachetée par New Relic en 2020, seulement deux mois après son lancement, grâce à une série A de 9 millions de dollars menée par Benchmark. (La technologie de Pixie fait aujourd’hui partie de l’organisation open source qui gère Kubernetes.)

Après que Asgar ait rencontré par hasard Tully il y a environ un an et reçu également des investissements d’ange de la part de professeurs de Stanford, les fonds d’investissement ont commencé à le contacter. Après le lancement, un document de termes est arrivé sur son bureau. Lorsque les investisseurs ont appris qu’Asgar examinait des offres, « nous avons reçu une multitude de propositions de financement », a-t-il déclaré, ajoutant que ce tour de financement a rapidement été oversubscribed.

Avec le financement initial, la startup a maintenant levé un total de 92 millions de dollars, y compris grâce à plusieurs investisseurs d’ange tels que Bill Coughran de Sequoia, le professeur de Stanford Nick McKeown, l’ancien PDG de VMware Raghu Raghuram et le PDG d’Intel Lip-Bu Tan. L’entreprise emploie actuellement 30 personnes.

D’autres investisseurs incluent Factory (qui a mené le financement initial), Eclipse Ventures, Prosperity7 et Intel Capital.