TensorZero obtient un financement de départ de 7,3 millions de dollars pour simplifier le développement de LLM en entreprise

TensorZero, un nouveau fournisseur d'infrastructure open-source pour les applications d'intelligence artificielle, a obtenu un financement de démarrage de 7,3 millions de dollars, mené par FirstMark Capital, avec la participation de Bessemer Venture Partners, Bedrock, DRW, Coalition et de nombreux anges de l'industrie.

L'investissement fait suite à une croissance exponentielle de l'adoption par les développeurs, le dépôt GitHub de TensorZero ayant atteint le statut de " #1 trending " mondial tout en triplant presque son nombre d'étoiles de 3 000 à plus de 9 700 au cours des derniers mois. Cette traction rapide reflète les défis croissants auxquels sont confrontées les entreprises pour déployer des solutions d'IA de niveau de production.

Résoudre le déficit d'infrastructure en matière d'IA

Matt Turck de FirstMark note : "Alors que l'intérêt pour les applications d'IA est en plein essor, les entreprises manquent d'outils robustes pour répondre aux besoins de mise en œuvre complexes. TensorZero propose des composants prêts à l'emploi qui fonctionnent de manière cohérente dès leur sortie de l'emballage".

La startup basée à Brooklyn s'attaque aux points critiques du déploiement à grande échelle des modèles de langage (LLM), où l'intégration de l'accès, de la surveillance et de l'optimisation des modèles nécessite actuellement de bricoler des solutions disparates.

De la fusion nucléaire à l'optimisation de l'IA

Les fondements techniques de TensorZero découlent des recherches doctorales du cofondateur Viraj Mehta dans le domaine de la fusion nucléaire à Carnegie Mellon. Travaillant sur des projets du ministère de l'énergie où la collecte de données coûtait 30 000 dollars par mesure de cinq secondes, Viraj Mehta a développé des approches d'apprentissage par renforcement pour maximiser la valeur de chaque point de données.

"Cet état d'esprit de rareté a directement influencé l'architecture de notre plateforme", explique M. Mehta. "À l'instar de la recherche sur la fusion, une mise en œuvre efficace de l'IA nécessite une utilisation stratégique des données afin d'améliorer continuellement les systèmes.

Cette perspective a conduit à l'innovation centrale de TensorZero : traiter les applications LLM comme des problèmes d'apprentissage par renforcement où les systèmes évoluent grâce à un retour d'information structuré.

Plate-forme unifiée pour l'IA d'entreprise

Contrairement aux approches fragmentées actuelles qui nécessitent l'intégration de plusieurs fournisseurs, TensorZero combine la gestion des modèles, l'observabilité et l'optimisation dans une seule pile open-source conçue pour la synergie.

"Les solutions existantes obligent les entreprises à assembler des outils distincts qui n'ont pas été conçus pour fonctionner ensemble", a déclaré le cofondateur Gabriel Bianconi, ancien CPO du projet de finance décentralisée Ondo Finance. "Nous construisons une infrastructure intégrée qui crée une boucle d'amélioration continue.

La plateforme basée sur Rust atteint une latence inférieure à la milliseconde tout en traitant plus de 10 000 requêtes par seconde, ce qui est nettement supérieur aux alternatives basées sur Python.

L'adoption par les entreprises s'accélère

La traction commerciale a été notable, avec des mises en œuvre couvrant :

• Une grande banque européenne qui automatise la documentation du code
• Des startups d'IA de série A/B dans les domaines de la santé, de la finance et de la technologie grand public
• Des entreprises nécessitant des déploiements sur site pour la conformité des données.

Différences techniques

TensorZero se démarque des frameworks tels que LangChain grâce à

• La préparation à la production de bout en bout par rapport à l'accent mis sur le prototypage
• La collecte de données structurées permettant une optimisation avancée
• Une performance à l'échelle de l'entreprise
• Une base open-source qui atténue le verrouillage des fournisseurs

Feuille de route future

Le financement d'amorçage permettra d'accélérer

• Le développement de la plateforme open-source
• L'expansion de l'équipe à New York
• Offres de services gérés pour les tâches d'optimisation complexes
• Outils de recherche pour accélérer l'expérimentation de l'IA

"Notre vision consiste à créer un cycle d'amélioration qui se renforce de lui-même", a déclaré M. Mehta. "À mesure que l'IA gère des flux de travail de plus en plus complexes, nous devons évaluer les performances dans des contextes réels, et non de manière isolée."

Avec son élan GitHub et sa traction précoce sur les entreprises, TensorZero est positionné pour combler les lacunes critiques en matière d'infrastructure lorsque les entreprises passent de l'expérimentation de l'IA au déploiement opérationnel.