Могут ли мозговые волны разблокировать физический ИИ?

Фронт физических ИИ-систем напоминает игру в дженгу на кончиках пальцев внутри склада в Сан-Леандро, Калифорния.

Encord работает в этом пространстве, предоставляя инструменты для подготовки данных, необходимых для обучения ИИ-моделей. Эндрю Кейя, «пилот» (термин Encord для обозначения тренеров роботов), осторожно извлекает деревянные блоки из неустойчивой башни, надев гарнитуру с камерой. Такая конфигурация является стандартной для сбора данных обучения роботов, но гарнитура Кейи также оснащена датчиками, записывающими его мозговые волны во время разборки конструкции.

Encord входит в число растущего числа стартапов, делающих ставку на то, что главным ограничением для гуманоидной и складской робототехники является не архитектура моделей, а дефицит реальных физических данных для обучения. Вместо простого управления существующими данными Encord строит бизнес-модель вокруг генерации тех данных, которых не хватает робототехническим компаниям.

Гарнитура для записи мозговых волн, которую носит Кейя, была разработана немецким стартапом в области нейронаук Zander Labs. Они считают, что измерение мозговой активности для вывода психических состояний — таких как ошибка, намерение или удивление — может генерировать более ценные наборы данных для обучения моделей. Сотрудничество Encord с Zander в настоящее время является пробным; цель состоит в создании первоначального набора данных с тегами мозговых волн, его тестировании на робототехнических моделях клиентов и оценке улучшений производительности перед масштабированием.

Лукас Герке, нейронаучный сотрудник Zander, курирующий проект, отмечает, что уровень мозговой активности во время конкретных задач дает подсказки разработчикам моделей относительно того, когда следует развертывать высокопроизводительные модели.

Винитх Велмуруган, глава направления обучения роботов в Encord, описывает это как «крайнюю границу» решения проблемы нехватки данных для робототехники. Опытный специалист, ранее работавший в лаборатории роботов OpenAI и в Berkshire Grey, компании по автоматизации складов, Велмуруган присоединился к Encord для создания внутренней команды по созданию данных.

Encord изначально была основана для помощи компаниям, разрабатывающим приложения машинного зрения, в аннотировании данных и оценке моделей. По мере того как клиенты — многие из которых являются ведущими робототехническими фирмами, хотя Велмуруган не называет их по именам — начали применять обучение с конца до начала для манипуляций роботов, руководители осознали, что им необходимо генерировать обучающие данные, а не просто управлять ими. «Данных просто не существует», — заявил Велмуруган.

Предположение о том, что генеративный ИИ может революционизировать робототехнику так же, как он изменил чат-боты, продолжает упирается в ту же стену. LLM были обучены на всем интернет-тексте и большем объеме. Получение эквивалентного сырья для обучения нейронных сетей физическим манипуляциям затруднительно: компании, разрабатывающие беспилотные автомобили, собирают собственные данные, но их сложно масштабировать. Хотя возможно обучение на основе видео, оно не обладает точностью реальных данных. Велмуруган оценивает, что для прорыва требуется набор данных в пять раз больше корпуса видео YouTube, что объясняет, почему генерация данных стала самостоятельным бизнесом, а не просто исследовательской задачей.

Удовлетворение ваших эгоцентричных потребностей в данных

Разработчики робототехники теперь полагаются на два основных источника: «эгоцентрическое» видео, записанное работниками в камерах (часто дополненное дополнительными углами и метриками), и данные с дистанционно управляемых роботов. Encord использует оба источника, собирая эгоцентрические данные с фабрик по всему миру и используя свой склад в Сан-Леандро для экспериментов с новыми модальностями, такими как мозговые волны, или для сбора наборов данных, сфокусированных на конкретных навыках для тонкой настройки.

Во время визита TechCrunch пилоты использовали системы лидер-последователь — парные роботизированные манипуляторы, где один управляется непосредственно человеком, а другой имитирует его движения — для генерации данных для таких задач, как наливание кофе (которое склонно к разбрызгиванию) и складывание покерных фишек. «Каждая компания, разрабатывающая гуманоидов, запрашивала эти наборы данных», — отметил Велмуруган.

Стеллажи для хранения содержали коробки с искусственными цветами в вазах, книгами, пластиковыми овощами, лотками и совками для кошачьего туалета, пакетами и пучками проводов — необходимыми реквизитами для обучения манипуляторов выполнению домашних задач.

На одной из станций другой пилот, София Инфанте, управляла роботизированными манипуляторами, чтобы подключать и отключать сетевые кабели Ethernet от серверов — задача, которую операторы центров обработки данных хотели бы автоматизировать, при условии, что роботы смогут манипулировать ими с достаточной точностью. Попытка управлять контроллерами самостоятельно показала, почему эта задача пока остается недостижимой: роботизированные щипцы гораздо менее ловки, чем человеческие пальцы, и не обладают степенями свободы, которые мы принимаем как должное.

Encord также разрабатывает новую модальность данных, используя датчики, закрепленные на предплечье для обнаружения электрических сигналов мышц. Поскольку видео рук человека часто не захватывает всю руку целиком, Велмуруган стремится создать трехмерное представление положения руки на основе данных с датчиков руки, предоставляя моделям более надежное понимание.

Наборы данных Encord аннотируются физическими описаниями видеоконтента — например, «правая рука затягивает болт» — чтобы помочь моделям на основе LLM понимать действия. Велмуруган оценивает, что такая плотная аннотация в 100 раз ценнее для обучения конкретным задачам, чем «мусорные эго-данные», и стоит лишь в 20 раз дороже для производства — выгодное соотношение на бумаге.

Однако «в 20 раз дороже» означает реальные деньги, что является подвохом: сбор интернет-текста для построения LLM из таких источников, как Stack Overflow, стоил лабораториям переднего края почти ничего. Генерация физических обучающих данных обходится дорого, что подчеркивает ограничения сравнения физического ИИ с LLM. Эти данные должны производиться, а не просто собираться, что фундаментально меняет экономику разработки моделей.

Велмуруган считает, что прогресс достигается. Благодаря видимости программ отрасли в Encord он наблюдает, как стартапы и лаборатории переднего края определяют, что работает для улучшения моделей физического ИИ. Эта точка обзора — расположенная между несколькими робототехническими компаниями — является частью ценностного предложения Encord, позволяя им выявлять методы работы с данными, набирающие отраслевое признание, еще до того, как это сделает какой-либо отдельный клиент.

Это будет держать занятыми дюжину или около того пилотов на объекте Encord. И Инфанте, и Кейя входят в растущую рабочую силу, разрабатывающую блоки нейронных сетей; ранее они работали в Scale, другой компании по аннотированию данных ИИ, прежде чем присоединиться к Encord.

Кейя ранее работал в компании по управлению отходами, где его интерес к технологиям привел к тому, что он обслуживал робота-сортировщика мусора. Теперь, когда башня из дженги рушится, он наслаждается вызовом решения задач обучения для роботов: «Каждый день что-то новое!»