Heim
Li Feifeis Team stellt eine Methode vor, mit der sich aus einem einzigen Video unendlich viele Trainingsumgebungen für Roboter generieren lassen
Im Bereich der verkörperten Intelligenz stellt die Überbrückung der Kluft zwischen Simulation und Realität – bekannt als „Sim2Real“ – seit langem eine hartnäckige Hürde dar. Simulationsumgebungen sind kostspielig, und Modelle verlieren häufig an Leistungsfähigkeit, wenn sie in physischen Umgebungen eingesetzt werden. Eine aktuelle gemeinsame Studie des Teams um Li Fei-Fei, des NVIDIA GEAR Lab und der Georgia Tech stellt eine neuartige Lösung vor: Real2Sim.
Dieses System mit dem Namen „SimFoundry“ erstellt interaktive, trainierbare und testbare Robotersimulationen anhand einfacher Videos aus der realen Welt. SimFoundry geht über die herkömmliche 3D-Rekonstruktion hinaus und führt eine tiefgehende Szenenanalyse durch, um die Erstellung der Umgebung zu automatisieren, wodurch sich der Aufwand für die Erstellung von Simulationen drastisch reduziert.

Die zentrale Innovation von SimFoundry besteht in einem geschlossenen Regelkreis zwischen „digitalen Zwillingen“ und „digitalen Verwandten“. Das System extrahiert geometrische, physikalische und interaktive Daten aus Videos, um hochauflösende digitale Zwillinge zu erstellen. Anschließend variiert es automatisch Aussehen, Anordnung und Aufgaben, um vielfältige digitale Cousins zu generieren. Dies ermöglicht es Entwicklern, aus einem einzigen Video praktisch unbegrenzte Trainingsdaten abzuleiten, was ein durchgängiges Lernen und Bewerten von Strategien innerhalb der Simulation ermöglicht.
Experimente bestätigen die hohe Vorhersagekraft von SimFoundry, wobei die simulierte Roboterleistung eng mit den Ergebnissen in der realen Welt übereinstimmt. Entscheidend ist, dass sich die anhand dieser synthetischen Daten trainierten Strategien ohne Feinabstimmung („Zero-Shot“) effektiv auf die Realität übertragen lassen und sich bei komplexen Aufgaben wie mehrstufigen Vorgängen und der Koordination beider Arme besonders gut bewähren.
Dieses Open-Source-System, das von führenden Robotik-Experten – darunter wichtige Mitglieder des NVIDIA GEAR Lab und des Teams von Li Fei-Fei – gemeinsam entwickelt wurde, verspricht, die Entwicklung verkörperter KI grundlegend zu verändern. Durch den Ersatz kostspieliger manueller Datenerfassung durch generative Technologie können Roboter nun wesentlich schneller den Übergang vom Labor in reale Anwendungen schaffen.
Link zur Veröffentlichung: https://arxiv.org/pdf/2606.28276v1
Verwandter Artikel
Anthropic startet Claude Mythos, um die Erdős-Vermutung mit einem knappen Beweis zu lösen
Am 26. wandte sich Sholto Douglas, Ingenieur bei Anthropic, an X, um bekannt zu geben, dass ihr neuestes Modell, Claude Mythos, ein seit einem Jahrhundert ungelöstes Rätsel der kombinatorischen Geometrie gelöst hatte: die Erdős-Vermutung über Einheit
Amazon übernimmt Decart für 7 Milliarden US-Dollar und sichert sich einen wichtigen KI-Chip-Adapter
Laut dem Wall Street Journal verhandelt Amazon über den Kauf des KI-Startups Decart zu einer geschätzten Bewertung von 7 Milliarden US-Dollar. Sollten keine konkurrierenden Angebote entstehen, könnte die Transaktion bald abgeschlossen werden, was die
Wie Locus eine der größten Herausforderungen der Robotik angeht: Manipulation
NeuraGrasp bewältigt verschiedene Artikel, darunter kleine Behälter, poröse Polybeutel und Textilien. | Quelle: Locus RoboticsLocus Robotics Corp. hat zahlreiche robotische Hürden in aktiven Betriebsumgebungen gemeistert. Seine autonomen mobilen Robo
Empfehlungen zu verwandten Spezialthemen
Kommentare (0)
Im Bereich der verkörperten Intelligenz stellt die Überbrückung der Kluft zwischen Simulation und Realität – bekannt als „Sim2Real“ – seit langem eine hartnäckige Hürde dar. Simulationsumgebungen sind kostspielig, und Modelle verlieren häufig an Leistungsfähigkeit, wenn sie in physischen Umgebungen eingesetzt werden. Eine aktuelle gemeinsame Studie des Teams um Li Fei-Fei, des NVIDIA GEAR Lab und der Georgia Tech stellt eine neuartige Lösung vor: Real2Sim.
Dieses System mit dem Namen „SimFoundry“ erstellt interaktive, trainierbare und testbare Robotersimulationen anhand einfacher Videos aus der realen Welt. SimFoundry geht über die herkömmliche 3D-Rekonstruktion hinaus und führt eine tiefgehende Szenenanalyse durch, um die Erstellung der Umgebung zu automatisieren, wodurch sich der Aufwand für die Erstellung von Simulationen drastisch reduziert.

Die zentrale Innovation von SimFoundry besteht in einem geschlossenen Regelkreis zwischen „digitalen Zwillingen“ und „digitalen Verwandten“. Das System extrahiert geometrische, physikalische und interaktive Daten aus Videos, um hochauflösende digitale Zwillinge zu erstellen. Anschließend variiert es automatisch Aussehen, Anordnung und Aufgaben, um vielfältige digitale Cousins zu generieren. Dies ermöglicht es Entwicklern, aus einem einzigen Video praktisch unbegrenzte Trainingsdaten abzuleiten, was ein durchgängiges Lernen und Bewerten von Strategien innerhalb der Simulation ermöglicht.
Experimente bestätigen die hohe Vorhersagekraft von SimFoundry, wobei die simulierte Roboterleistung eng mit den Ergebnissen in der realen Welt übereinstimmt. Entscheidend ist, dass sich die anhand dieser synthetischen Daten trainierten Strategien ohne Feinabstimmung („Zero-Shot“) effektiv auf die Realität übertragen lassen und sich bei komplexen Aufgaben wie mehrstufigen Vorgängen und der Koordination beider Arme besonders gut bewähren.
Dieses Open-Source-System, das von führenden Robotik-Experten – darunter wichtige Mitglieder des NVIDIA GEAR Lab und des Teams von Li Fei-Fei – gemeinsam entwickelt wurde, verspricht, die Entwicklung verkörperter KI grundlegend zu verändern. Durch den Ersatz kostspieliger manueller Datenerfassung durch generative Technologie können Roboter nun wesentlich schneller den Übergang vom Labor in reale Anwendungen schaffen.
Link zur Veröffentlichung: https://arxiv.org/pdf/2606.28276v1
Anthropic startet Claude Mythos, um die Erdős-Vermutung mit einem knappen Beweis zu lösen
Am 26. wandte sich Sholto Douglas, Ingenieur bei Anthropic, an X, um bekannt zu geben, dass ihr neuestes Modell, Claude Mythos, ein seit einem Jahrhundert ungelöstes Rätsel der kombinatorischen Geometrie gelöst hatte: die Erdős-Vermutung über Einheit
Amazon übernimmt Decart für 7 Milliarden US-Dollar und sichert sich einen wichtigen KI-Chip-Adapter
Laut dem Wall Street Journal verhandelt Amazon über den Kauf des KI-Startups Decart zu einer geschätzten Bewertung von 7 Milliarden US-Dollar. Sollten keine konkurrierenden Angebote entstehen, könnte die Transaktion bald abgeschlossen werden, was die











