Мировая модель Google Genie теперь симулирует реальные улицы с помощью Street View

Большинство из нас уже использовало Google Street View, чтобы показать другу свой старый район или перетащить маленькую иконку человечка в Париж, чтобы проверить, находится ли наш отель в модном районе. Теперь представьте, что вы можете испытать это с полным погружением и интерактивностью — моделируя улицу и её окрестности, настраивая погодные условия или даже визуализируя экстремальные сценарии, такие как в фильме «Послезавторашник».

Это видение лежит в основе последней интеграции Google. Начиная с сегодняшнего дня, Google DeepMind связывает Street View с проектом Genie — универсальной моделью мира, способной генерировать разнообразные интерактивные среды. Эта функция была представлена во время конференции разработчиков Google I/O.

«Это невероятно мощный инструмент как для приложений с агентами и робототехникой, так и для человеческого исследования», — сказал Джек Паркер-Холдер, научный сотрудник команды DeepMind по открытому исследованию, беседуя с TechCrunch. «Это всегда была основная идея Genie».

Он проиллюстрировал это сценарием с новым роботом, развернутым в Лондоне, где солнечный свет редкость. По словам Паркер-Холдера, Genie может моделировать те редкие моменты, когда солнечный свет отражается от викторианских зданий, гарантируя, что робот не испугается внезапной яркости.

«Или вы можете сказать: „Я посещаю Нью-Йорк, но не в этот сезон“, — добавил он. „Пойдёт снег. Я хочу увидеть, как выглядит этот блок под снегом“».

На протяжении двух десятилетий Google собирал данные Street View с помощью автомобилей с камерами и людей, носящих «трекерные рюкзаки». Техгигант собрал более 280 миллиардов изображений в 110 странах и на всех семи континентах.

«Street View даёт нам изображения из огромной части мира», — объяснил Джек. «Представьте потенциал объединения этих богатых реальных данных с возможностью моделирования целых миров».

В августе прошлого года Google выпустил Genie 3 для исследовательного предварительного просмотра, а в январе предоставил доступ подписчикам Google AI Ultra в США, позволяя им создавать интерактивные игровые миры из текстовых подсказок или изображений. Цель состоит в том, чтобы использовать Genie для образовательного опыта, игр и обучения робототехники.

Genie 3 уже работает в одном из симуляторов Waymo для обучения беспилотных автомобилей «крайне редким событиям», таким как торнадо или неожиданные встречи со слонами. Интеграция данных Street View может помочь Waymo подготовиться к запуску в ещё больше городов по всему миру.

Waymo использует собственный симулятор для расширения операций на 11 городов США и тестирования своего ИИ-водителя в нескольких других. Паркер-Холдер отмечает, что хотя эти симуляции создаются с точки зрения автомобиля, Street View позволяет моделировать мир, привязанный к реальному местоположению, и изменять точку зрения на других агентов, таких как люди или роботы.

Google внедряет Street View в Genie для избранных пользователей Ultra в США сегодня, с более широким доступом для глобальных пользователей Ultra в ближайшие недели, согласно компании.

Диего Ривас, менеджер продуктов в DeepMind, заявил, что исследователи стремятся сделать эту возможность широко доступной. Он предупредил, что Street View и Genie в целом остаются экспериментальными, с значительным пространством для улучшения точности.

В демонстрациях, показанных Google — включая подводную симуляцию района, где я когда-то жил, — результаты впечатляющие и узнаваемые, но всё ещё напоминают графику видеоигр, а не фотореализм. Модели также не обладают пониманием физики, то есть они ещё не осознают причинно-следственные связи. Например, в симуляции женщины, бегущей через снежный Джошуа-Три, она проходила прямо кактусы и кустарники.

В отличие от генератора изображений Google Nano Banana, который теперь может генерировать идеальный текст в инфографике, или его видеогенератора Veo, который понимает, что бумажные лодки плывут по водным течениям, дым рассеивается в воздухе, а ткань драпируется над формами.

Физика не зашита в эти модели; они учатся ей интуитивно со временем через пассивное наблюдение, подобно живому существу.

«Я считаю, что этот тип модели отстаёт от видео по точности и качеству на шесть-двенадцать месяцев, поэтому я думаю, что мы решим эту проблему», — сказал Паркер-Холдер.

Джонатан Герберт, директор Google Maps, который начал свою карьеру в команде Street View стажёром 12 лет назад, отметил, что Genie ещё не может создать точную реконструкцию улицы. Он считает, что настоящий прорыв заключается в пространственной непрерывности ИИ: если вы повернетесь на 360 градусов, ИИ правильно запоминает и моделирует окружение позади вас. Оттуда модель может построить новую среду поверх этого фундамента.

«Мы давно размышляли о том, как построить лучшую и самую богатую модель мира, используя данные Street View», — сказал Герберт. «Определённо, наша цель заключалась в том, чтобы использовать данные Maps новыми способами и для новых видов ИИ-исследований на протяжении довольно долгого времени».