O modelo de mundo Genie do Google agora simula ruas reais com o Street View

A maioria de nós já usou o Google Street View para mostrar a um amigo nosso antigo bairro ou arrastou o pequeno ícone de pessoa para Paris para verificar se nosso hotel está em uma área elegante. Agora, imagine experimentar isso com imersão total e interatividade — simulando a rua e seus arredores, ajustando as condições climáticas ou até mesmo visualizando cenários extremos como os de “O Dia Depois de Amanhã”.

Essa é a visão por trás da mais recente integração do Google. A partir de hoje, o Google DeepMind conecta o Street View ao Project Genie, seu modelo de mundo de propósito geral capaz de gerar ambientes diversos e interativos. O recurso foi apresentado durante a conferência de desenvolvedores Google I/O.

“É incrivelmente poderoso tanto para aplicações de agentes e robótica quanto para exploração humana”, disse Jack Parker-Holder, cientista de pesquisa da equipe de abertura contínua do DeepMind, falando à TechCrunch. “Essa sempre foi a ideia central por trás do Genie.”

Ele ilustrou isso com um cenário envolvendo um novo robô implantado em Londres, onde a luz solar é rara. De acordo com Parker-Holder, o Genie pode simular aqueles momentos infrequentes em que a luz do sol brilha nos edifícios vitorianos, garantindo que o robô não se assuste com um brilho repentino.

“Alternativamente, você pode dizer: ‘Estou visitando Nova York, mas não nesta época do ano’”, acrescentou. “Vai nevar. Quero ver como esse quarteirão fica coberto de neve.”

Por duas décadas, o Google coletou dados do Street View usando carros equipados com câmeras e indivíduos que usavam “mochilas rastreadoras”. O gigante da tecnologia acumulou mais de 280 bilhões de imagens em 110 países e todos os sete continentes.

“O Street View nos fornece imagens de uma vasta parte do mundo”, explicou Jack. “Imagine o potencial de combinar esses ricos dados do mundo real com a capacidade de simular mundos inteiros.”

Em agosto passado, o Google lançou o Genie 3 para visualização de pesquisa e, em janeiro, concedeu acesso aos assinantes do Google AI Ultra nos EUA, permitindo que criassem mundos de jogos interativos a partir de prompts de texto ou imagens. O objetivo é aproveitar o Genie para experiências educacionais, jogos e treinamento de robótica.

O Genie 3 já está alimentando um dos simuladores da Waymo para treinar carros autônomos em “eventos extremamente raros”, como tornados ou encontros inesperados com elefantes. A incorporação de dados do Street View pode ajudar a Waymo a se preparar para lançamentos em mais cidades globais.

A Waymo usa seu próprio simulador para expandir suas operações para 11 cidades dos EUA e testar seu motorista de IA em várias outras. Parker-Holder observa que, embora essas simulações sejam da perspectiva do carro, o Street View permite simular um mundo ancorado a um local real e mudar o ponto de vista para outros agentes, como humanos ou robôs.

O Google está lançando o Street View no Genie para usuários Ultra selecionados nos EUA hoje, com acesso mais amplo para usuários globais Ultra nas próximas semanas, segundo a empresa.

Diego Rivas, gerente de produto do DeepMind, afirmou que os pesquisadores visam tornar essa capacidade amplamente disponível. Ele alertou que o Street View, e o Genie em geral, ainda é experimental, com grande margem para melhorias na precisão.

Nas demonstrações mostradas pelo Google — incluindo uma simulação subaquática de um bairro onde eu morava —, os resultados são impressionantes e reconhecíveis, mas ainda se assemelham a gráficos de videogame em vez de fotorealismo. Os modelos também carecem de consciência física, o que significa que ainda não compreendem causa e efeito. Por exemplo, em uma simulação de uma mulher correndo pela neve em Joshua Tree, ela passou diretamente através de cactos e arbustos.

Isso contrasta com o gerador de imagens do Google, Nano Banana, que agora pode gerar texto perfeito em infográficos, ou seu gerador de vídeo Veo, que entende que barcos de papel flutuam nas correntes d’água, a fumaça se dispersa no ar e o tecido drapeja sobre as formas.

A física não está codificada rigidamente nesses modelos; eles a aprendem intuitivamente ao longo do tempo por meio de observação passiva, assim como um ser vivo.

“Acredito que esse tipo de modelo está cerca de seis a 12 meses atrás do vídeo em termos de precisão e qualidade, então acho que resolveremos isso”, disse Parker-Holder.

Jonathan Herbert, diretor do Google Maps, que começou na equipe do Street View como estagiário há 12 anos, observou que o Genie ainda não consegue criar uma reconstrução fiel de uma rua. Ele acredita que o verdadeiro avanço está na continuidade espacial da IA: se você girar 360 graus, a IA lembra corretamente e simula o ambiente atrás de você. A partir daí, o modelo pode construir um novo ambiente sobre essa base.

“Sempre consideramos como construir o melhor e mais rico modelo do mundo usando dados do Street View”, disse Herbert. “Definitivamente, nosso objetivo tem sido usar os Dados do Maps de novas maneiras e para novos tipos de pesquisa de IA há bastante tempo.”