Les ondes cérébrales peuvent-elles débloquer l'IA physique ?

La frontière de l’IA physique ressemble à une partie de Jenga à haute enjeu dans un entrepôt de San Leandro, en Californie.

Encord opère dans cet espace, en fournissant des outils de gestion de données pour l’entraînement des modèles d’IA. Andrew Ceja, un « pilote » (le terme d’Encord pour les formateurs de robots), extrait avec soin des blocs en bois d’une tour instable tout en portant un casque équipé d’une caméra. Cette configuration est standard pour la collecte de données d’entraînement robotiques, mais le casque de Ceja comporte également des capteurs qui enregistrent ses ondes cérébrales alors qu’il démonte la structure.

Encord figure parmi le nombre croissant de startups pariant que le principal goulot d’étranglement pour la robotique humanoïde et d’entrepôt n’est pas l’architecture des modèles, mais la rareté des données d’entraînement physiques réelles. Au lieu de simplement gérer les données existantes, Encord construit un modèle commercial autour de la génération des données manquantes aux entreprises de robotique.

Le casque d’ondes cérébrales porté par Ceja a été développé par Zander Labs, une startup allemande de neurosciences. Ils estiment que la mesure de l’activité cérébrale pour inférer des états mentaux – tels que l’erreur, l’intention ou la surprise – peut générer des ensembles de données plus précieux pour l’entraînement des modèles. La collaboration d’Encord avec Zander est actuellement un essai ; l’objectif est de créer un premier ensemble de données étiqueté par des ondes cérébrales, de le tester sur les modèles robotiques des clients et d’évaluer les améliorations de performance avant de passer à l’échelle.

Lucas Gehrke, neuroscientifique chez Zander supervisant le projet, note que le niveau d’activité cérébrale lors de tâches spécifiques fournit des indices aux développeurs de modèles sur le moment de déployer des modèles à haute intensité de calcul.

Vineeth Velmurugan, responsable de l’apprentissage robotique chez Encord, décrit cela comme la « pointe avancée » de la résolution du goulot d’étranglement des données robotiques. Vétéran du laboratoire de robotique d’OpenAI et de Berkshire Grey, une entreprise d’automatisation d’entrepôt, Velmurugan a rejoint Encord pour établir son équipe interne de création de données.

Encord a été fondé à l’origine pour aider les entreprises développant des applications de vision par ordinateur avec l’annotation de données et l’évaluation des modèles. Alors que les clients – de nombreuses entreprises de robotique de premier plan, bien que non nommées par Velmurugan – commençaient à appliquer l’apprentissage de bout en bout à la manipulation robotique, les dirigeants ont réalisé qu’ils devaient générer des données d’entraînement plutôt que de simplement les gérer. « Les données n’existent tout simplement pas », a déclaré Velmurugan.

L’hypothèse selon laquelle l’IA générative peut révolutionner la robotique comme elle l’a fait pour les chatbots continue de se heurter au même mur. Les LLM ont été entraînés sur l’intégralité du texte internet et plus encore. Acquérir des matières premières équivalentes pour enseigner aux réseaux neuronaux la manipulation physique est difficile : les entreprises de voitures autonomes collectent leurs propres données, mais cela est difficile à mettre à l’échelle. Bien que l’entraînement à partir de vidéos soit possible, il manque la fidélité des données du monde réel. Velmurugan estime qu’un ensemble de données cinq fois plus grand que le corpus vidéo de YouTube est nécessaire pour percer – expliquant pourquoi la génération de données est devenue une entreprise autonome plutôt que simplement un défi de recherche.

Nourrissez vos besoins en données égocentriques

Les développeurs de robotique s’appuient désormais sur deux sources principales : des vidéos « égocentriques » capturées par des travailleurs portant des caméras (souvent complétées par des angles et des métriques supplémentaires) et des données provenant de robots téléopérés. Encord utilise les deux, collectant des données égocentriques dans des usines du monde entier et utilisant son installation de San Leandro pour expérimenter de nouvelles modalités, telles que les ondes cérébrales, ou pour collecter des ensembles de données axés sur des compétences spécifiques pour le réglage fin.

Lors d’une visite de TechCrunch, les pilotes ont utilisé des dispositifs leader-suiveur – des bras robotiques jumelés où l’un est contrôlé directement par un humain et l’autre imite ses mouvements – pour générer des données pour des tâches comme verser du café (qui est sujet aux éclaboussures) et empiler des jetons de poker. « Chaque entreprise humanoïde a demandé ces ensembles de données », a noté Velmurugan.

Des étagères de stockage contenaient des cartons de fausses fleurs dans des vases, des livres, des légumes en plastique, des litières et pelles pour chats, des sacs et des faisceaux de câbles – des accessoires essentiels pour entraîner les manipulateurs pour les tâches domestiques.

À une station, un autre pilote, Sofia Infante, manœuvrait des bras robotiques pour brancher et débrancher des câbles Ethernet à l’arrière des serveurs – une tâche que les opérateurs de centres de données aimeraient automatiser, à condition que les robots puissent les manipuler avec une précision suffisante. Le fait d’actionner les contrôles moi-même a révélé pourquoi cela reste hors de portée : les pinces robotiques sont bien moins habiles que les doigts humains et manquent des degrés de liberté que nous tenons pour acquis.

Encord développe également une nouvelle modalité de données à l’aide de capteurs attachés à l’avant-bras pour détecter les signaux électriques musculaires. Puisque les vidéos des mains humaines ne capturent souvent pas la main entière, Velmurugan vise à créer une représentation 3D de la position de la main basée sur les données des capteurs du bras, fournissant aux modèles une compréhension plus robuste.

Les ensembles de données d’Encord sont annotés avec des descriptions physiques du contenu vidéo – telles que « la main droite serre un boulon » – pour aider les modèles basés sur les LLM à comprendre les actions. Velmurugan estime que cette annotation dense est 100 fois plus précieuse que les « données égocentriques médiocres » pour l’entraînement de tâches spécifiques, ne coûtant que 20 fois plus à produire – un compromis favorable sur le papier.

Cependant, « 20 fois plus » représente de l’argent réel, ce qui est le piège : gratter le texte internet pour construire des LLM à partir de sources comme Stack Overflow a coûté presque rien aux laboratoires de pointe. La génération de données d’entraînement physiques ne coûte pas cela, soulignant la limite de la comparaison entre l’IA physique et les LLM. Ces données doivent être fabriquées, pas seulement collectées, changeant fondamentalement l’économie du développement des modèles.

Velmurugan croit que des progrès sont en cours. Avec la visibilité d’Encord sur les programmes industriels, il observe des startups et des laboratoires de pointe déterminer ce qui fonctionne pour améliorer les modèles d’IA physique. Ce point de vue – positionné entre plusieurs entreprises de robotique – fait partie de la proposition de valeur d’Encord, leur permettant d’identifier les techniques de données gagnant en traction à l’échelle de l’industrie avant qu’un seul client ne le fasse.

Cela maintiendra occupées une douzaine de pilotes dans l’installation d’Encord. Infante et Ceja font partie d’une main-d’œuvre croissante développant des blocs de construction de réseaux neuronaux ; ils ont précédemment travaillé chez Scale, une autre entreprise d’annotation de données IA, avant de rejoindre Encord.

Ceja a précédemment travaillé dans une entreprise de gestion des déchets, où son intérêt pour la technologie l’a conduit à maintenir un trieuse de poubelles robotique. Maintenant, alors que la tour de Jenga s’effondre, il apprécie le défi de résoudre des tâches d’entraînement pour les robots : « C’est quelque chose de nouveau chaque jour ! »