Googles Genie-Weltmodell simuliert nun echte Straßen mit Street View

Die meisten von uns haben Google Street View bereits genutzt, um einem Freund unsere alte Nachbarschaft zu zeigen oder das kleine Personen-Symbol in Paris einzufügen, um zu prüfen, ob sich unser Hotel in einer angesagten Gegend befindet. Stellen Sie sich nun vor, dies mit voller Immersion und Interaktivität zu erleben – die Straße und ihre Umgebung zu simulieren, Wetterbedingungen anzupassen oder sogar extreme Szenarien wie in „The Day After Tomorrow“ zu visualisieren.

Dies ist die Vision hinter Googles neuester Integration. Ab heute verknüpft Google DeepMind Street View mit Project Genie, seinem universellen Weltmodell, das in der Lage ist, vielfältige, interaktive Umgebungen zu generieren. Die Funktion wurde während der Google I/O-Entwicklerkonferenz vorgestellt.

„Es ist unglaublich leistungsstark für Agenten- und Robotikanwendungen sowie für die menschliche Erkundung“, sagte Jack Parker-Holder, ein Wissenschaftler im Open-Endedness-Team von DeepMind, gegenüber TechCrunch. „Das war immer die Kernidee hinter Genie.“

Er veranschaulichte dies mit einem Szenario, das einen neuen Roboter betrifft, der in London eingesetzt wird, wo Sonnenlicht selten ist. Laut Parker-Holder kann Genie jene seltenen Momente simulieren, in denen Sonnenlicht auf viktorianische Gebäude glitzert, um sicherzustellen, dass der Roboter nicht durch plötzliche Helligkeit erschreckt wird.

„Alternativ könnten Sie sagen: ‚Ich besuche New York City, aber nicht zu dieser Jahreszeit‘“, fügte er hinzu. „Es wird schneien. Ich möchte sehen, wie dieser Block unter Schnee aussieht.“

Seit zwei Jahrzehnten sammelt Google Street View-Daten mit kameraausgestatteten Fahrzeugen und Personen, die „Tracker-Rucksäcke“ tragen. Der Tech-Gigant hat über 280 Milliarden Bilder in 110 Ländern und auf allen sieben Kontinenten zusammengetragen.

„Street View liefert uns Bilder aus einem großen Teil der Welt“, erklärte Jack. „Stellen Sie sich das Potenzial vor, diese reichen Daten der realen Welt mit der Fähigkeit zu kombinieren, ganze Welten zu simulieren.“

Im vergangenen August veröffentlichte Google Genie 3 für eine Forschungsvorschau, und im Januar gewährte es Google AI Ultra-Abonnenten in den USA Zugang, um interaktive Spielwelten aus Textaufforderungen oder Bildern zu erstellen. Ziel ist es, Genie für Bildungserfahrungen, Spiele und Robotikschulungen zu nutzen.

Genie 3 treibt bereits einen der Simulatoren von Waymo an, um selbstfahrende Autos auf „extrem seltene Ereignisse“ wie Tornados oder unerwartete Begegnungen mit Elefanten vorzubereiten. Die Einbeziehung von Street View-Daten könnte Waymo dabei helfen, sich auf Erweiterungen in weiteren globalen Städten vorzubereiten.

Waymo nutzt seinen eigenen Simulator, um den Betrieb auf 11 US-Städte auszuweiten und seinen KI-Fahrer in mehreren anderen zu testen. Parker-Holder merkt an, dass diese Simulationen aus der Perspektive des Autos erfolgen, Street View jedoch die Simulation einer Welt ermöglicht, die an einem realen Standort verankert ist, und den Blickwinkel auf andere Akteure wie Menschen oder Roboter verschiebt.

Google rollt Street View in Genie ab heute für ausgewählte Ultra-Nutzer in den USA aus, wobei der breitere Zugang für globale Ultra-Nutzer in den kommenden Wochen erfolgen wird, so das Unternehmen.

Diego Rivas, Produktmanager bei DeepMind, erklärte, dass die Forscher anstreben, diese Funktion allgemein verfügbar zu machen. Er warnte jedoch, dass Street View und Genie im Allgemeinen noch experimentell sind und erhebliches Verbesserungspotenzial in Bezug auf die Genauigkeit bestehen.

In den von Google gezeigten Demos – darunter eine Unterwassersimulation einer Nachbarschaft, in der ich einmal lebte – sind die Ergebnisse beeindruckend und wiedererkennbar, ähneln jedoch immer noch Videospielgrafiken eher als fotorealistischen Darstellungen. Die Modelle verfügen zudem über kein physikalisches Verständnis, was bedeutet, dass sie Ursache und Wirkung noch nicht begreifen. In einer Simulation einer Frau, die durch den schneebedeckten Joshua Tree läuft, ging sie beispielsweise direkt durch Kakteen und Büsche hindurch.

Stellen Sie dies Google’s Bildgenerator Nano Banana gegenüber, der nun perfekten Text in Infografiken generieren kann, oder seinem Video-Generator Veo, der versteht, dass Papierschiffe auf Wasserströmungen treiben, Rauch sich in der Luft verteilt und Stoff über Formen drapiert.

Physik ist nicht fest in diese Modelle codiert; sie lernen sie im Laufe der Zeit intuitiv durch passive Beobachtung, ähnlich wie ein Lebewesen.

„Ich glaube, dass diese Art von Modell in Bezug auf Genauigkeit und Qualität etwa sechs bis zwölf Monate hinter der Videoentwicklung zurückliegt, daher denke ich, dass wir das lösen werden“, sagte Parker-Holder.

Jonathan Herbert, Direktor von Google Maps, der vor 12 Jahren als Praktikant im Street View-Team begann, bemerkte, dass Genie noch keine treue Rekonstruktion einer Straße erstellen kann. Er glaubt, dass der eigentliche Durchbruch in der räumlichen Kontinuität der KI liegt: Wenn Sie sich um 360 Grad drehen, erinnert und simuliert die KI korrekt die Umgebung hinter Ihnen. Auf dieser Grundlage kann das Modell dann eine neue Umgebung aufbauen.

„Wir haben uns lange damit befasst, wie man das beste und reichhaltigste Modell der Welt unter Verwendung von Street View-Daten erstellt“, sagte Herbert. „Es war definitiv unser Ziel, Kartendaten auf neue Weise und für neue Arten von KI-Forschung zu nutzen, und das schon seit einiger Zeit.“