Maison
NVIDIA et l'université de Tsinghua présentent « Gamma-World », repoussant les limites de la simulation multi-agents
Les modèles de mondes vidéo évoluent, passant d’une perspective mono-agent à une collaboration multi-agents. Les modèles traditionnels partent généralement du principe qu’il n’y a qu’un seul agent, ce qui limite leur capacité à gérer des scénarios complexes dans lesquels plusieurs acteurs agissent et s’observent mutuellement au sein d’un même monde virtuel. Pour surmonter ce goulot d’étranglement architectural, NVIDIA, en collaboration avec l’université de Tsinghua, l’université de Toronto et le Vector Institute, a lancé Gamma-World (γ-World), une nouvelle solution de modélisation de mondes multi-agents.
Le principal défi de la modélisation de mondes multi-agents consiste à préserver trois types de cohérence : temporelle, inter-perspectives et interactive. Des travaux antérieurs, tels que Solaris, ont fait progresser la collaboration entre deux agents, mais ont révélé deux défauts critiques : un encodage d’identité qui perturbe la symétrie de permutation, et un mécanisme d’attention entièrement connecté qui entraîne une croissance quadratique de la charge de calcul avec le nombre d’agents, empêchant ainsi une mise à l’échelle efficace vers un plus grand nombre de participants.

Gamma-World résout ces problèmes structurels grâce à une refonte complète. L’équipe a introduit le « Simplex Rotary Agent Encoding », qui positionne tous les acteurs aux sommets d’un simplexe géométrique, garantissant ainsi une équidistance naturelle et un statut égal entre eux. Cette conception ne comporte aucun paramètre apprenable et utilise une attribution aléatoire des coordonnées, ce qui permet au modèle de s’entraîner sur des données à deux agents et d’exécuter directement des scénarios à quatre agents sans aucune modification architecturale — un bond en avant significatif en matière de généralisation.
Pour remédier au goulot d’étranglement au niveau du débit de calcul, Gamma-World utilise un mécanisme d’attention par hub clairsemé (Sparse Hub Attention Mechanism). Cette approche remplace la communication directe par paires traditionnelle par un ensemble de jetons de hub apprenables qui agissent comme des relais compressés pour les états partagés du monde, réduisant ainsi le coût de calcul à une complexité linéaire. Combiné à une mise en cache indépendante, le système permet une simulation d’actions en temps réel à 24 images par seconde (24 FPS).
Pour l’entraînement, l’équipe a utilisé une approche de distillation « teacher-student » en trois étapes, dans laquelle un modèle « teacher » bidirectionnel guide un modèle « student » causal, compressant ainsi l’échantillonnage en plusieurs étapes à seulement quatre étapes. Cela permet de préserver la contrôlabilité des actions tout en réduisant considérablement l’accumulation d’erreurs lors de l’inférence autorégressive.
Les résultats expérimentaux démontrent que, dans cinq scénarios clés d’un environnement virtuel Minecraft multijoueur — notamment la mémoire et la construction —, Gamma-World surpasse les modèles de pointe existants, en atteignant une réduction moyenne de plus de 40 % de la métrique FVD relative à la qualité vidéo. Ce cadre a également été adapté avec succès à de véritables tâches de collaboration entre robots à deux bras, confirmant ainsi son applicabilité à différents scénarios. Cette avancée améliore non seulement la simulation multi-agents, mais pourrait également servir d’infrastructure de génération de simulations à grande échelle pour des domaines d’IA physique tels que la collaboration médicale multi-bras, la planification multi-robots en usine et la conduite autonome.
Article connexe
Les actions américaines atteignent un jalon historique alors que les géants de l'IA et de l'aérospatiale se préparent pour leur entrée boursière à la valeur du trillion de dollars.
Elon Musk, Sam Altman et Dario Amodei, trois titans du secteur technologique, s’approchent des introductions en bourse de leurs entreprises respectives. Avec SpaceX, OpenAI et Anthropic – trois géants de l’industrie dont les valorisations approchent
La startup suédoise en intelligence artificielle Lovable Eyes atteint une valorisation de 13,2 milliards de dollars après un tour de table majeur
Alors que les outils de codage alimentés par l’intelligence artificielle gagnent en popularité, la startup suédoise Lovable a levé des fonds lors d’un tour de table majeur. L’entreprise vise à collecter 3 milliards de dollars, ce qui pourrait porter
Google teste l'agent IA Remy pour Gemini à mesure que l'accent se déplace vers le contrôle utilisateur
Selon Business Insider, Google teste Remy, un nouvel agent personnel d’IA pour Gemini. Cet outil vise à exécuter des tâches au nom des utilisateurs, rationalisant ainsi les flux de travail professionnels et les routines quotidiennes.Actuellement, Re
Recommandations de sujets spéciaux liés
commentaires (0)
Les modèles de mondes vidéo évoluent, passant d’une perspective mono-agent à une collaboration multi-agents. Les modèles traditionnels partent généralement du principe qu’il n’y a qu’un seul agent, ce qui limite leur capacité à gérer des scénarios complexes dans lesquels plusieurs acteurs agissent et s’observent mutuellement au sein d’un même monde virtuel. Pour surmonter ce goulot d’étranglement architectural, NVIDIA, en collaboration avec l’université de Tsinghua, l’université de Toronto et le Vector Institute, a lancé Gamma-World (γ-World), une nouvelle solution de modélisation de mondes multi-agents.
Le principal défi de la modélisation de mondes multi-agents consiste à préserver trois types de cohérence : temporelle, inter-perspectives et interactive. Des travaux antérieurs, tels que Solaris, ont fait progresser la collaboration entre deux agents, mais ont révélé deux défauts critiques : un encodage d’identité qui perturbe la symétrie de permutation, et un mécanisme d’attention entièrement connecté qui entraîne une croissance quadratique de la charge de calcul avec le nombre d’agents, empêchant ainsi une mise à l’échelle efficace vers un plus grand nombre de participants.

Gamma-World résout ces problèmes structurels grâce à une refonte complète. L’équipe a introduit le « Simplex Rotary Agent Encoding », qui positionne tous les acteurs aux sommets d’un simplexe géométrique, garantissant ainsi une équidistance naturelle et un statut égal entre eux. Cette conception ne comporte aucun paramètre apprenable et utilise une attribution aléatoire des coordonnées, ce qui permet au modèle de s’entraîner sur des données à deux agents et d’exécuter directement des scénarios à quatre agents sans aucune modification architecturale — un bond en avant significatif en matière de généralisation.
Pour remédier au goulot d’étranglement au niveau du débit de calcul, Gamma-World utilise un mécanisme d’attention par hub clairsemé (Sparse Hub Attention Mechanism). Cette approche remplace la communication directe par paires traditionnelle par un ensemble de jetons de hub apprenables qui agissent comme des relais compressés pour les états partagés du monde, réduisant ainsi le coût de calcul à une complexité linéaire. Combiné à une mise en cache indépendante, le système permet une simulation d’actions en temps réel à 24 images par seconde (24 FPS).
Pour l’entraînement, l’équipe a utilisé une approche de distillation « teacher-student » en trois étapes, dans laquelle un modèle « teacher » bidirectionnel guide un modèle « student » causal, compressant ainsi l’échantillonnage en plusieurs étapes à seulement quatre étapes. Cela permet de préserver la contrôlabilité des actions tout en réduisant considérablement l’accumulation d’erreurs lors de l’inférence autorégressive.
Les résultats expérimentaux démontrent que, dans cinq scénarios clés d’un environnement virtuel Minecraft multijoueur — notamment la mémoire et la construction —, Gamma-World surpasse les modèles de pointe existants, en atteignant une réduction moyenne de plus de 40 % de la métrique FVD relative à la qualité vidéo. Ce cadre a également été adapté avec succès à de véritables tâches de collaboration entre robots à deux bras, confirmant ainsi son applicabilité à différents scénarios. Cette avancée améliore non seulement la simulation multi-agents, mais pourrait également servir d’infrastructure de génération de simulations à grande échelle pour des domaines d’IA physique tels que la collaboration médicale multi-bras, la planification multi-robots en usine et la conduite autonome.
Les actions américaines atteignent un jalon historique alors que les géants de l'IA et de l'aérospatiale se préparent pour leur entrée boursière à la valeur du trillion de dollars.
Elon Musk, Sam Altman et Dario Amodei, trois titans du secteur technologique, s’approchent des introductions en bourse de leurs entreprises respectives. Avec SpaceX, OpenAI et Anthropic – trois géants de l’industrie dont les valorisations approchent
La startup suédoise en intelligence artificielle Lovable Eyes atteint une valorisation de 13,2 milliards de dollars après un tour de table majeur
Alors que les outils de codage alimentés par l’intelligence artificielle gagnent en popularité, la startup suédoise Lovable a levé des fonds lors d’un tour de table majeur. L’entreprise vise à collecter 3 milliards de dollars, ce qui pourrait porter











