Бывшие исследователи Meta стремятся внедрить визуальный искусственный интеллект на производственные площадки

Искусственный интеллект трансформирует наш мир, однако до сих пор в основном оставался в цифровых границах. Теперь новая волна стартапов переносит эти возможности в физический мир.

Perceptron, основанная двумя бывшими исследователями Meta, возглавляет этот сдвиг. Компания была основана в ноябре 2024 года и разрабатывает передовые модели зрительного восприятия, позволяющие машинам более эффективно взаимодействовать с физической средой.

На этой неделе Perceptron представила Isaac 0.5 — модель, предназначенную для того, чтобы дать машинам способность «воспринимать, рассуждать и действовать» в промышленных условиях. Программное обеспечение наделяет роботов с визуальным наведением способностью перемещаться по сложным пространствам, таким как фабрики и склады, а также позволяет компаниям извлекать ценные визуальные данные из видеозаписей, сделанных этими роботами.

Isaac 0.5 доступна в виде модели с открытыми весами, что делает её параметры и обучающие данные доступными для публичного изучения.

Perceptron была сооснована Арменом Агхаджаняном и Акшатом Шриваставой, оба из которых ранее входили в команду Fundamental AI Research (FAIR) компании Meta. Недавно компания привлекла 21 миллион долларов инвестиций под руководством Bessemer Venture Partners. Основатели видят своё программное обеспечение как следующий шаг в промышленной автоматизации.

«Современный Physical AI создает ложную дилемму: общие базовые модели, требующие нескольких выделенных облачных GPU на каждый экземпляр, или узкоспециализированные модели, которые обрабатывают либо восприятие, либо управление, но редко оба процесса одновременно», — объясняет компания.

Агхаджанян и Шривастав утверждают, что их инструмент отличается от существующих решений своей универсальностью. Вместо того чтобы быть оптимизированным для одной повторяющейся задачи, модель создана для гибкой адаптации к различным условиям и ситуациям.

В интервью Шривастова задала вопрос, побуждающий задуматься о простых физических задачах, таких как сортировка коробок: «Рассмотрите робота, развернутого для сортировки посылок. Какие конкретные задачи он должен выполнять?»

Этот, казалось бы, простой процесс включает несколько сложных шагов. Сначала робот должен прочитать этикетки на посылках, выполнить пространственный анализ для определения местоположения коробок и решить, какой предмет взять. При работе с несколькими коробками он также должен планировать последовательность и порядок операций.

Программное обеспечение Perceptron помогает роботам проходить каждый из этих этапов. Хотя другие инструменты отрасли могут справляться с отдельными задачами, лишь немногие предлагают гибкость, необходимую для динамичных приложений в реальном мире.

Итак, откуда берутся данные для этого алгоритмического новшества?

Модели, такие как Isaac 0.5, приобретают операционные навыки, обрабатывая огромные объемы видео-обучающих данных. По словам Perceptron, новая модель обучалась на одном миллионе часов общих видеозаписей для распознавания обстановки, визуальных элементов и сценариев. Компания также использовала эго-видео — записи, сделанные от первого лица, часто с помощью носимых камер, — и UMI-видео, которое фиксирует повторяющиеся движения человека для обучения систем ИИ физическим действиям.

Хотя Perceptron не раскрыла конкретные источники данных, Шривастова отметила, что компания «внутренне создала петабайтные наборы данных, охватывающие несколько модальностей, включая изображения, текст, видео и траектории движения роботов».

Потенциал программного обеспечения, позволяющего роботам эффективно работать на складах, огромен. Perceptron считает, что она хорошо позиционирована для запуска этой волны автоматизации, предлагая своё программное обеспечение различным поставщикам для интеграции в различные отрасли.

Целевые сектора включают производство, логистику, складирование, безопасность, мобильность, а также медиа и развлечения.

«Ничего подобного в настоящее время не существует на рынке», — заявил Агхаджанян. «Мы по-настоящему взволнованы возможностями, которые это открывает».