Дом
Команда Ли Фэйфэй представила метод создания бесконечных полигонов для обучения роботов на основе одного видео
В области воплощённого интеллекта преодоление разрыва между моделированием и реальностью — известное как «Sim2Real» — долгое время оставалось серьёзным препятствием. Оборудование для моделирования обходится дорого, а модели часто теряют производительность при внедрении в реальных условиях. В недавнем совместном исследовании, проведённом командой Ли Фэй-Фэй, NVIDIA GEAR Lab и Технологическим институтом Джорджии, представлено новое решение: Real2Sim.
Эта система, получившая название «SimFoundry», создает интерактивные, обучаемые и тестируемые робототехнические симуляции с использованием простых видеозаписей из реального мира. Выходя за рамки традиционной 3D-реконструкции, SimFoundry выполняет глубокий анализ сцены для автоматизации создания окружающей среды, что значительно сокращает усилия, необходимые для построения симуляций.

Основная инновация SimFoundry заключается в замкнутом цикле между «цифровыми двойниками» и «цифровыми родственниками». Система извлекает геометрические, физические и интерактивные данные из видеороликов для построения высокоточных цифровых двойников. Затем она автоматически варьирует внешний вид, расположение объектов и задачи, чтобы генерировать разнообразных цифровых «кузенов». Это позволяет разработчикам получать практически неограниченный объем обучающих данных из одного видеоролика, обеспечивая сквозное обучение и оценку стратегий в рамках симуляции.
Эксперименты подтверждают высокую прогностическую способность SimFoundry: результаты моделирования работы роботов точно соответствуют реальным. Что особенно важно, стратегии, обученные на этих синтетических данных, эффективно переносятся в реальную среду без донастройки («zero-shot»), демонстрируя превосходные результаты при решении сложных задач, таких как многоэтапные операции и координация двух рук.
Эта система с открытым исходным кодом, разработанная в соавторстве с ведущими экспертами в области робототехники, включая ключевых членов NVIDIA GEAR Lab и команды Ли Фэй-Фэй, обещает преобразовать разработку воплощённого ИИ. Заменив дорогостоящий ручной сбор данных генеративными технологиями, роботы теперь могут гораздо быстрее переходить из лаборатории к применению в реальных условиях.
Ссылка на статью: https://arxiv.org/pdf/2606.28276v1
Связанная статья
Anthropic запускает Claude Mythos для решения гипотезы Эрдёша с помощью краткого доказательства
26 мая Шолто Дуглас, инженер компании Anthropic, опубликовал в X сообщение о том, что их последняя модель Claude Mythos решила столетнюю загадку комбинаторной геометрии — гипотезу Эрдёша о единичных расстояниях. Этот прорыв, получивший оценку как «из
Amazon покупает Decart за $7 млрд, обеспечив ключевой адаптер для ИИ-чипов
Согласно данным The Wall Street Journal, Amazon ведет переговоры о покупке стартапа в области искусственного интеллекта Decart с оценкой стоимости около 7 миллиардов долларов. Если не появится конкурирующих предложений, сделка может быть закрыта в бл
Как Locus решает одну из главных проблем робототехники: манипуляцию
NeuraGrasp handles diverse items, including small containers, porous polybags, and textiles. | Source: Locus RoboticsКомпания Locus Robotics Corp. решила множество проблем робототехники в реальных условиях эксплуатации. Ее автономные мобильные роботы
Рекомендации по связанным специальным темам
Комментарии (0)
В области воплощённого интеллекта преодоление разрыва между моделированием и реальностью — известное как «Sim2Real» — долгое время оставалось серьёзным препятствием. Оборудование для моделирования обходится дорого, а модели часто теряют производительность при внедрении в реальных условиях. В недавнем совместном исследовании, проведённом командой Ли Фэй-Фэй, NVIDIA GEAR Lab и Технологическим институтом Джорджии, представлено новое решение: Real2Sim.
Эта система, получившая название «SimFoundry», создает интерактивные, обучаемые и тестируемые робототехнические симуляции с использованием простых видеозаписей из реального мира. Выходя за рамки традиционной 3D-реконструкции, SimFoundry выполняет глубокий анализ сцены для автоматизации создания окружающей среды, что значительно сокращает усилия, необходимые для построения симуляций.

Основная инновация SimFoundry заключается в замкнутом цикле между «цифровыми двойниками» и «цифровыми родственниками». Система извлекает геометрические, физические и интерактивные данные из видеороликов для построения высокоточных цифровых двойников. Затем она автоматически варьирует внешний вид, расположение объектов и задачи, чтобы генерировать разнообразных цифровых «кузенов». Это позволяет разработчикам получать практически неограниченный объем обучающих данных из одного видеоролика, обеспечивая сквозное обучение и оценку стратегий в рамках симуляции.
Эксперименты подтверждают высокую прогностическую способность SimFoundry: результаты моделирования работы роботов точно соответствуют реальным. Что особенно важно, стратегии, обученные на этих синтетических данных, эффективно переносятся в реальную среду без донастройки («zero-shot»), демонстрируя превосходные результаты при решении сложных задач, таких как многоэтапные операции и координация двух рук.
Эта система с открытым исходным кодом, разработанная в соавторстве с ведущими экспертами в области робототехники, включая ключевых членов NVIDIA GEAR Lab и команды Ли Фэй-Фэй, обещает преобразовать разработку воплощённого ИИ. Заменив дорогостоящий ручной сбор данных генеративными технологиями, роботы теперь могут гораздо быстрее переходить из лаборатории к применению в реальных условиях.
Ссылка на статью: https://arxiv.org/pdf/2606.28276v1
Anthropic запускает Claude Mythos для решения гипотезы Эрдёша с помощью краткого доказательства
26 мая Шолто Дуглас, инженер компании Anthropic, опубликовал в X сообщение о том, что их последняя модель Claude Mythos решила столетнюю загадку комбинаторной геометрии — гипотезу Эрдёша о единичных расстояниях. Этот прорыв, получивший оценку как «из
Amazon покупает Decart за $7 млрд, обеспечив ключевой адаптер для ИИ-чипов
Согласно данным The Wall Street Journal, Amazon ведет переговоры о покупке стартапа в области искусственного интеллекта Decart с оценкой стоимости около 7 миллиардов долларов. Если не появится конкурирующих предложений, сделка может быть закрыта в бл











