Les laboratoires d'IA rémunèrent XDOF pour la collecte de données d'entraînement de robots de qualité médiocre

Il y a deux semaines, OpenAI a annoncé qu’il allait relancer son programme de robotique, qu’il avait interrompu en 2021 — un signe supplémentaire que les grands laboratoires d’IA se livrent à une course effrénée pour apprendre aux machines à évoluer dans le monde physique. Mais la construction de robots performants nécessite un élément qui fait encore défaut au secteur de l’IA : des données d’entraînement équivalentes à celles utilisées par les modèles linguistiques.

Cette lacune alimente un nouveau type d’activité dans le domaine des infrastructures. Contrairement aux modèles de langage (LLM), qui ont été entraînés sur d’énormes quantités de textes accessibles au public, les robots ont besoin de données capturant des interactions physiques — et ce type de données n’existe pratiquement pas. Les vidéos YouTube et les séquences filmées par des travailleurs indépendants sont de faible qualité et difficiles à mettre en correspondance avec le monde physique.

XDOF (prononcé « ecks-doff »), qui sort aujourd’hui de l’anonymat, estime que le prochain obstacle majeur dans le domaine de l’IA ne sera pas les modèles ni les puces, mais la boucle de rétroaction des données nécessaire pour apprendre aux robots à interagir avec le monde physique.

La start-up vise à mettre en place les pipelines de données, les outils de collecte et les systèmes d’annotation que les laboratoires de pointe et les entreprises de robotique ne peuvent pas facilement développer par eux-mêmes — et a levé 70 millions de dollars auprès de Thrive Capital, Spark Capital, a16z, Lux et WndrCo pour y parvenir. Philippe Wu, cofondateur et PDG, explique que XDOF, qui emploie environ 60 personnes, travaille déjà avec 20 clients, dont plusieurs laboratoires de pointe en IA, bien qu’il ne puisse pas les nommer.

« Tous les grands laboratoires s’efforcent de se lancer dans la robotique », a déclaré M. Wu. « Nous avons déjà constaté certains des inconvénients liés au fait d’accuser un léger retard dans la course aux modèles linguistiques… Il ne faut pas se retrouver dans une situation où l’on se lance trop tard dans cette technologie, alors que tout le monde est dans le même bateau et que l’IA physique représente la prochaine frontière. »

M. Wu a été confronté à ce problème de première main lorsqu’il était doctorant à l’université de Berkeley. Son travail consistait à permettre aux robots d’acquérir des compétences à partir d’ensembles de données à grande échelle. Il y avait cependant un problème.

« Nous ne disposions pas de données à grande échelle sur lesquelles travailler », a-t-il expliqué à TechCrunch. « C’était le problème de l’œuf et de la poule : nous devions d’abord collecter des données avant même de pouvoir nous demander comment entraîner un modèle de base pour la robotique. »

Wu et son futur cofondateur et directeur technique de XDOF, Fred Shentu, ont travaillé sur un projet appelé GELLO, un système de téléopération à faible coût permettant à un opérateur humain de contrôler un bras robotique afin de générer des données d’entraînement. « Cet article a fini par avoir un impact considérable dans le domaine de la robotique, car de nombreuses personnes étaient confrontées à des besoins et à des obstacles similaires, et beaucoup ont commencé à utiliser ce type de dispositif pour la collecte de données », a expliqué Wu.

Saisissant cette opportunité, Wu, Shentu et le troisième cofondateur et directeur des opérations, Nemo Jin, ont lancé XDOF en octobre 2024 afin de fournir un écosystème de données aux entreprises développant des modèles robotiques. Consciente que la simple fourniture de données peut constituer une activité sans issue, l’entreprise se concentre également sur le nettoyage, l’outillage et l’annotation des données, créant ainsi une boucle de rétroaction auto-renforçante pour les formateurs de robots.

Pour commencer, l’entreprise s’associe au laboratoire de recherche en IA de l’université de Berkeley afin de publier ce qu’elle considère comme la plus grande collection de données d’entraînement de robots de haute qualité jamais rassemblée, baptisée ABC. Elle comprend 130 000 trajectoires de données de manipulation robotique, 300 heures de simulation et 100 heures d’évaluations. Des données de pré-entraînement d’une telle envergure n’avaient encore jamais été mises à la disposition du monde universitaire.

« Nous avons constaté, dans le domaine du langage, de la génération d’images et dans d’autres domaines, que lorsque des modèles et des données sont mis à disposition, la communauté parvient à réaliser des choses auxquelles on ne s’attendait pas forcément », a déclaré à TechCrunch David McAllister, un doctorant de Berkeley qui a contribué à l’organisation de cette publication.

L’équipe a déjà utilisé ces données pour entraîner des robots à effectuer des tâches de référence telles que plier des t-shirts, aplatir des boîtes ou ranger des AirPods dans leurs étuis.

Des degrés de liberté illimités

L’entreprise prévoit de travailler sur les trois niveaux d’une « pyramide de données ». Le niveau le plus précieux est celui des données de téléopération collectées sur le robot lui-même lors de son déploiement ; viennent ensuite les robots téléopérés recueillant des données plus générales, comme avec GELLO ; et enfin les données « égocentriques » recueillies par des humains effectuant des tâches quotidiennes, pour lesquelles XDOF prévoit de développer ses propres capteurs portables.

« Le choix de votre caméra va influencer la qualité de vos données — ce qui va influer sur les performances de votre algorithme de suivi des mains », a déclaré M. Wu. « Si vous ne concevez pas correctement le matériel dès le départ, les données que vous collecterez pourraient présenter des problèmes très spécifiques que vous n’aviez pas anticipés. »

L’entreprise prévoit de recruter et de former une multitude de téléopérateurs et d’opérateurs de données égocentriques à travers le monde — un modèle à forte intensité de main-d’œuvre qui soulève une question évidente : pourquoi les grands laboratoires ne se chargent-ils pas eux-mêmes de ce travail de production de données ?

« Il faut un entrepôt de plusieurs centaines de milliers de pieds carrés équipé de centaines de robots », a expliqué M. Wu. « Il faut entretenir ces robots, calibrer leurs paramètres physiques et former correctement les opérateurs. »

Il s’agit d’un déploiement qui exige une concentration, des capitaux et une envergure opérationnelle que la plupart des laboratoires d’IA préfèrent externaliser — ce qui correspond précisément au marché sur lequel XDOF mise.

Le nom XDOF est un jeu de mots sur le terme robotique « degrés de liberté », qui décrit le nombre de mouvements indépendants qu’un robot peut effectuer. Votre bras, de l’épaule au poignet, possède sept degrés de liberté. Le dernier robot de la société de robotique humanoïde Figure.AI en compte 30. Le « X » dans le nom de l’entreprise reflète son ambition : « Des degrés de liberté arbitraires, des degrés de liberté illimités », explique Wu.