Heim
NVIDIA und die Tsinghua-Universität stellen „Gamma-World“ vor und sprengen damit die Grenzen der Multi-Agenten-Simulation
Video-Weltmodelle entwickeln sich weg von einer Einzelagent-Perspektive hin zur Zusammenarbeit mehrerer Agenten. Herkömmliche Modelle gehen in der Regel von einem einzigen Agenten aus, was ihre Fähigkeit einschränkt, komplexe Szenarien zu bewältigen, in denen mehrere Akteure in derselben virtuellen Welt agieren und sich gegenseitig beobachten. Um diesen architektonischen Engpass zu überwinden, hat NVIDIA in Zusammenarbeit mit der Tsinghua-Universität, der Universität Toronto und dem Vector Institute „Gamma-World“ (γ-World) vorgestellt, eine neue Lösung für Multi-Agenten-Weltmodelle.
Die größte Herausforderung bei der Modellierung von Multi-Agenten-Welten besteht darin, drei Arten von Konsistenz zu gewährleisten: zeitliche, perspektivenübergreifende und interaktive Konsistenz. Frühere Ansätze wie Solaris trieben die Zusammenarbeit zwischen zwei Agenten voran, wiesen jedoch zwei entscheidende Mängel auf: eine Identitätskodierung, die die Permutationssymmetrie stört, und einen vollständig vernetzten Aufmerksamkeitsmechanismus, der mit der Anzahl der Agenten zu einem quadratischen Anstieg des Rechenaufwands führt und eine effektive Skalierung auf mehr Teilnehmer verhindert.

Gamma-World behebt diese strukturellen Probleme durch eine vollständige Neukonzeption. Das Team führte die „Simplex Rotary Agent Encoding“ ein, bei der alle Akteure an den Eckpunkten eines geometrischen Simplex positioniert werden, wodurch eine natürliche Äquidistanz und Gleichstellung untereinander gewährleistet wird. Dieses Design enthält keine lernbaren Parameter und nutzt eine zufällige Koordinatenzuweisung, wodurch das Modell mit Daten von zwei Agenten trainiert werden kann und Szenarien mit vier Agenten ohne architektonische Änderungen direkt ausführen kann – ein bedeutender Fortschritt bei der Generalisierbarkeit.
Um den Engpass beim Rechendurchsatz zu beheben, setzt Gamma-World einen „Sparse Hub Attention Mechanism“ ein. Dieser Ansatz ersetzt die traditionelle paarweise Direktkommunikation durch eine Reihe lernbarer Hub-Token, die als komprimierte Relais für gemeinsame Weltzustände fungieren und so den Rechenaufwand auf lineare Komplexität reduzieren. In Kombination mit unabhängigem Caching erreicht das System eine Echtzeit-Aktionssimulation mit 24 Bildern pro Sekunde (24 FPS).
Für das Training verwendete das Team einen dreistufigen „Teacher-Student“-Destillationsansatz, bei dem ein bidirektionales „Teacher“-Modell ein kausales „Student“-Modell anleitet und dabei die mehrstufige Stichprobenentnahme auf nur vier Schritte komprimiert. Dadurch bleibt die Steuerbarkeit der Aktionen erhalten, während die Fehlerakkumulation während der autoregressiven Inferenz deutlich reduziert wird.
Experimentelle Ergebnisse zeigen, dass Gamma-World in fünf Kernszenarien einer virtuellen Minecraft-Umgebung mit mehreren Spielern – darunter „Memory“ und „Construction“ – bestehende Modelle auf dem neuesten Stand der Technik übertrifft und eine durchschnittliche Reduzierung der FVD-Metrik für die Videoqualität um über 40 % erzielt. Das Framework wurde zudem erfolgreich auf reale Kooperationsaufgaben mit zweiarmen Robotern angepasst, was seine szenarioübergreifende Anwendbarkeit bestätigt. Dieser Fortschritt verbessert nicht nur die Multi-Agenten-Simulation, sondern hat auch das Potenzial, als Infrastruktur zur Generierung groß angelegter Simulationen für physikalische KI-Bereiche zu dienen, wie beispielsweise die medizinische Zusammenarbeit mit mehreren Armen, die Planung mehrerer Roboter in Fabriken und das autonome Fahren.
Verwandter Artikel
ByteDances Seed startet globale Campus-Werbung und bietet virtuelle Aktien, um Top-Talente für große Modelle zu gewinnen
Im wettbewerbsintensiven Umfeld der großen Sprachmodelle bleibt die Sicherung erstklassiger Talente das wichtigste strategische Asset.Am 1. April ByteDance gab die Einführung seiner globalen Campus-Rekrutierungsinitiative Seed bekannt, die Teil seine
Suno fügt Wasserzeichen in Songs ein, während Rechtsstreitigkeiten andauern
Suno, die Plattform, die es Nutzern ermöglicht, KI-generierte Musik zu erstellen, hat neue Funktionen vorgestellt, um plattformproduzierte Tracks zu kennzeichnen, Downloads einzuschränken und die Community-Richtlinien zu aktualisieren, um unbefugte K
Musk räumt ein, dass Grok-Build Benutzercode geleakt hat, verspricht aber, alle historischen Daten zu löschen
Elon Musk wandte sich direkt an die Datenschutzkontroverse um Grok Build, beginnend mit einem einfachen „True“, um die Gültigkeit des Vorfalls zu bestätigen. Er versprach, dass alle zuvor bei SpaceXAI hochgeladenen Benutzerdaten unwiderruflich gelösc
Empfehlungen zu verwandten Spezialthemen
Kommentare (0)
Video-Weltmodelle entwickeln sich weg von einer Einzelagent-Perspektive hin zur Zusammenarbeit mehrerer Agenten. Herkömmliche Modelle gehen in der Regel von einem einzigen Agenten aus, was ihre Fähigkeit einschränkt, komplexe Szenarien zu bewältigen, in denen mehrere Akteure in derselben virtuellen Welt agieren und sich gegenseitig beobachten. Um diesen architektonischen Engpass zu überwinden, hat NVIDIA in Zusammenarbeit mit der Tsinghua-Universität, der Universität Toronto und dem Vector Institute „Gamma-World“ (γ-World) vorgestellt, eine neue Lösung für Multi-Agenten-Weltmodelle.
Die größte Herausforderung bei der Modellierung von Multi-Agenten-Welten besteht darin, drei Arten von Konsistenz zu gewährleisten: zeitliche, perspektivenübergreifende und interaktive Konsistenz. Frühere Ansätze wie Solaris trieben die Zusammenarbeit zwischen zwei Agenten voran, wiesen jedoch zwei entscheidende Mängel auf: eine Identitätskodierung, die die Permutationssymmetrie stört, und einen vollständig vernetzten Aufmerksamkeitsmechanismus, der mit der Anzahl der Agenten zu einem quadratischen Anstieg des Rechenaufwands führt und eine effektive Skalierung auf mehr Teilnehmer verhindert.

Gamma-World behebt diese strukturellen Probleme durch eine vollständige Neukonzeption. Das Team führte die „Simplex Rotary Agent Encoding“ ein, bei der alle Akteure an den Eckpunkten eines geometrischen Simplex positioniert werden, wodurch eine natürliche Äquidistanz und Gleichstellung untereinander gewährleistet wird. Dieses Design enthält keine lernbaren Parameter und nutzt eine zufällige Koordinatenzuweisung, wodurch das Modell mit Daten von zwei Agenten trainiert werden kann und Szenarien mit vier Agenten ohne architektonische Änderungen direkt ausführen kann – ein bedeutender Fortschritt bei der Generalisierbarkeit.
Um den Engpass beim Rechendurchsatz zu beheben, setzt Gamma-World einen „Sparse Hub Attention Mechanism“ ein. Dieser Ansatz ersetzt die traditionelle paarweise Direktkommunikation durch eine Reihe lernbarer Hub-Token, die als komprimierte Relais für gemeinsame Weltzustände fungieren und so den Rechenaufwand auf lineare Komplexität reduzieren. In Kombination mit unabhängigem Caching erreicht das System eine Echtzeit-Aktionssimulation mit 24 Bildern pro Sekunde (24 FPS).
Für das Training verwendete das Team einen dreistufigen „Teacher-Student“-Destillationsansatz, bei dem ein bidirektionales „Teacher“-Modell ein kausales „Student“-Modell anleitet und dabei die mehrstufige Stichprobenentnahme auf nur vier Schritte komprimiert. Dadurch bleibt die Steuerbarkeit der Aktionen erhalten, während die Fehlerakkumulation während der autoregressiven Inferenz deutlich reduziert wird.
Experimentelle Ergebnisse zeigen, dass Gamma-World in fünf Kernszenarien einer virtuellen Minecraft-Umgebung mit mehreren Spielern – darunter „Memory“ und „Construction“ – bestehende Modelle auf dem neuesten Stand der Technik übertrifft und eine durchschnittliche Reduzierung der FVD-Metrik für die Videoqualität um über 40 % erzielt. Das Framework wurde zudem erfolgreich auf reale Kooperationsaufgaben mit zweiarmen Robotern angepasst, was seine szenarioübergreifende Anwendbarkeit bestätigt. Dieser Fortschritt verbessert nicht nur die Multi-Agenten-Simulation, sondern hat auch das Potenzial, als Infrastruktur zur Generierung groß angelegter Simulationen für physikalische KI-Bereiche zu dienen, wie beispielsweise die medizinische Zusammenarbeit mit mehreren Armen, die Planung mehrerer Roboter in Fabriken und das autonome Fahren.
ByteDances Seed startet globale Campus-Werbung und bietet virtuelle Aktien, um Top-Talente für große Modelle zu gewinnen
Im wettbewerbsintensiven Umfeld der großen Sprachmodelle bleibt die Sicherung erstklassiger Talente das wichtigste strategische Asset.Am 1. April ByteDance gab die Einführung seiner globalen Campus-Rekrutierungsinitiative Seed bekannt, die Teil seine
Suno fügt Wasserzeichen in Songs ein, während Rechtsstreitigkeiten andauern
Suno, die Plattform, die es Nutzern ermöglicht, KI-generierte Musik zu erstellen, hat neue Funktionen vorgestellt, um plattformproduzierte Tracks zu kennzeichnen, Downloads einzuschränken und die Community-Richtlinien zu aktualisieren, um unbefugte K
Musk räumt ein, dass Grok-Build Benutzercode geleakt hat, verspricht aber, alle historischen Daten zu löschen
Elon Musk wandte sich direkt an die Datenschutzkontroverse um Grok Build, beginnend mit einem einfachen „True“, um die Gültigkeit des Vorfalls zu bestätigen. Er versprach, dass alle zuvor bei SpaceXAI hochgeladenen Benutzerdaten unwiderruflich gelösc











