¿Pueden las ondas cerebrales desbloquear la IA física?

La frontera de la inteligencia artificial física se asemeja a un juego de Jenga de alto riesgo dentro de un almacén en San Leandro, California.

Encord opera en este espacio, proporcionando herramientas de datos para el entrenamiento de modelos de IA. Andrew Ceja, un «piloto» (término de Encord para los entrenadores robóticos), extrae con cuidado bloques de madera de una torre inestable mientras lleva un casco equipado con cámara. Esta configuración es estándar para la recopilación de datos de entrenamiento de robots, pero el casco de Ceja también cuenta con sensores que registran sus ondas cerebrales mientras desmonta la estructura.

Encord está entre un número creciente de startups que apuestan a que el principal cuello de botella para la robótica humanoides y de almacén no es la arquitectura del modelo, sino la escasez de datos de entrenamiento físico del mundo real. En lugar de simplemente gestionar datos existentes, Encord está construyendo un modelo de negocio en torno a la generación de los datos que les faltan a las empresas de robótica.

El casco de ondas cerebrales que lleva Ceja fue desarrollado por Zander Labs, una startup alemana de neurociencia. Creen que medir la actividad cerebral para inferir estados mentales, como error, intención o sorpresa, puede generar conjuntos de datos más valiosos para entrenar modelos. La colaboración de Encord con Zander es actualmente una prueba; el objetivo es crear un conjunto de datos inicial etiquetado con ondas cerebrales, probarlo contra los modelos robóticos de los clientes y evaluar las mejoras de rendimiento antes de escalar.

Lucas Gehrke, un neurocientífico de Zander que supervisa el proyecto, señala que el nivel de actividad cerebral durante tareas específicas proporciona pistas a los desarrolladores de modelos sobre cuándo desplegar modelos de alto esfuerzo.

Vineeth Velmurugan, jefe de aprendizaje robótico de Encord, describe esto como la «frontera sangrante» de resolver el cuello de botella de datos de robótica. Veterano del laboratorio de robots de OpenAI y Berkshire Grey, una empresa de automatización de almacenes, Velmurugan se unió a Encord para establecer su equipo interno de creación de datos.

Encord fue fundado originalmente para ayudar a las empresas que construyen aplicaciones de visión artificial con la anotación de datos y la evaluación de modelos. A medida que los clientes, muchas empresas líderes de robótica, aunque no nombradas por Velmurugan, comenzaron a aplicar el aprendizaje de extremo a extremo a la manipulación robótica, los ejecutivos se dieron cuenta de que necesitaban generar datos de entrenamiento en lugar de solo gestionarlos. «Los datos simplemente no existen», afirmó Velmurugan.

La suposición de que la IA generativa puede revolucionar la robótica como lo hizo con los chatbots sigue chocando contra la misma pared. Los LLM se entrenaron con todo el texto de internet y más. Adquirir materias primas equivalentes para enseñar a las redes neuronales sobre la manipulación física es difícil: las empresas de coches autónomos recopilan sus propios datos, pero esto es difícil de escalar. Aunque es posible entrenar a partir de vídeo, carece de la fidelidad de los datos del mundo real. Velmurugan estima que se necesita un conjunto de datos cinco veces más grande que el corpus de vídeos de YouTube para superar este obstáculo, lo que explica por qué la generación de datos se ha convertido en un negocio independiente en lugar de solo un desafío de investigación.

Alimenta tus necesidades de datos egocéntricos

Los desarrolladores de robótica ahora dependen de dos fuentes principales: vídeo «egocéntrico» capturado por trabajadores que llevan cámaras (a menudo complementado con ángulos y métricas adicionales) y datos de robots operados a distancia. Encord utiliza ambas, recopilando datos egocéntricos de fábricas de todo el mundo y utilizando sus instalaciones en San Leandro para experimentar con nuevas modalidades, como las ondas cerebrales, o para recopilar conjuntos de datos centrados en habilidades específicas para el ajuste fino.

Durante una visita de TechCrunch, los pilotos utilizaron rigs de líder-seguidor, brazos robóticos emparejados donde uno es controlado directamente por un humano y el otro imita sus movimientos, para generar datos para tareas como verter café (que tiende a salpicar) y apilar fichas de póquer. «Todas las empresas humanoides han solicitado estos conjuntos de datos», señaló Velmurugan.

Las estanterías de almacenamiento contenían cajas de flores falsas en jarrones, libros, verduras de plástico, bandejas y palas para arena de gatos, bolsas y haces de cables, accesorios esenciales para entrenar manipuladores para tareas domésticas.

En una estación, otro piloto, Sofia Infante, maniobraba brazos robóticos para enchufar y desenchufar cables de red desde la parte trasera de los servidores, una tarea que los operadores de centros de datos amarían automatizar, siempre que los robots pudieran manipularlos con suficiente precisión. Operar los controles yo mismo reveló por qué esto sigue fuera de alcance: las pinzas robóticas son mucho menos diestras que los dedos humanos y carecen de los grados de libertad que damos por sentados.

Encord también está desarrollando una nueva modalidad de datos utilizando sensores sujetos al antebrazo para detectar señales eléctricas musculares. Dado que el vídeo de las manos humanas a menudo no captura toda la mano, Velmurugan tiene como objetivo crear una representación 3D de la posición de la mano basada en los datos del sensor del brazo, proporcionando a los modelos una comprensión más sólida.

Los conjuntos de datos de Encord están anotados con descripciones físicas del contenido del vídeo, como «la mano derecha aprieta el perno», para ayudar a los modelos basados en LLM a comprender las acciones. Velmurugan estima que esta anotación densa es 100 veces más valiosa que los «datos egocéntricos basura» para entrenar tareas específicas, con un coste solo 20 veces mayor de producir, un intercambio favorable sobre el papel.

Sin embargo, «20 veces más» representa dinero real, que es el truco: extraer texto de internet para construir LLM a partir de fuentes como Stack Overflow costó a los laboratorios de frontera casi nada. Generar datos de entrenamiento físico no, lo que destaca el límite de comparar la IA física con los LLM. Estos datos deben fabricarse, no solo recopilados, cambiando fundamentalmente la economía del desarrollo de modelos.

Velmurugan cree que se están haciendo progresos. Con la visibilidad de Encord en los programas de la industria, observa a startups y laboratorios de frontera determinando qué funciona para mejorar los modelos de IA física. Esta perspectiva, posicionada entre múltiples empresas de robótica, es parte de la propuesta de valor de Encord, lo que les permite identificar técnicas de datos que ganan tracción en toda la industria antes de que lo haga cualquier cliente individual.

Esto mantendrá ocupados a una docena de pilotos en las instalaciones de Encord. Tanto Infante como Ceja forman parte de una fuerza laboral creciente que desarrolla bloques de construcción de redes neuronales; anteriormente trabajaron en Scale, otra empresa de anotación de datos de IA, antes de unirse a Encord.

Ceja trabajó anteriormente en una empresa de gestión de residuos, donde su interés por la tecnología le llevó a mantener un clasificador robótico de basura. Ahora, mientras se derrumba la torre de Jenga, disfruta del desafío de resolver tareas de entrenamiento para robots: «¡Es algo nuevo cada día!»