Maison
L'équipe de Li Feifei dévoile une méthode permettant de générer une infinité de terrains d'entraînement pour robots à partir d'une seule vidéo
Dans le domaine de l’intelligence incarnée, combler le fossé entre la simulation et la réalité — un processus connu sous le nom de « Sim2Real » — constitue depuis longtemps un obstacle tenace. Les installations de simulation sont coûteuses, et les modèles perdent souvent en performances lorsqu’ils sont déployés dans des environnements physiques. Une étude collaborative récente menée par l’équipe de Li Fei-Fei, le NVIDIA GEAR Lab et Georgia Tech présente une solution novatrice : Real2Sim.
Baptisé « SimFoundry », ce système crée des simulations robotiques interactives, entraînables et testables à partir de simples vidéos du monde réel. Allant au-delà de la reconstruction 3D traditionnelle, SimFoundry effectue une analyse approfondie des scènes pour automatiser la création d’environnements, réduisant ainsi considérablement l’effort nécessaire à la construction de simulations.

L’innovation centrale de SimFoundry repose sur une boucle fermée entre les « jumeaux numériques » et les « cousins numériques ». Le système extrait des données géométriques, physiques et interactives des vidéos pour construire des jumeaux numériques haute fidélité. Il modifie ensuite automatiquement l’apparence, la disposition et les tâches afin de générer divers cousins numériques. Cela permet aux développeurs de tirer des données d’entraînement pratiquement illimitées d’une seule vidéo, facilitant ainsi l’apprentissage et l’évaluation de stratégies de bout en bout au sein de la simulation.
Des expériences confirment la forte capacité prédictive de SimFoundry, les performances simulées des robots correspondant étroitement aux résultats observés dans le monde réel. Élément crucial : les stratégies entraînées sur ces données synthétiques se transposent efficacement dans la réalité sans ajustement (« zero-shot »), et excellent dans des tâches complexes telles que les opérations en plusieurs étapes et la coordination des deux bras.
Co-développé par des experts de premier plan en robotique, notamment des membres clés du NVIDIA GEAR Lab et de l’équipe de Li Fei-Fei, ce système open source promet de transformer le développement de l’IA incarnée. En remplaçant la collecte manuelle et coûteuse de données par une technologie générative, les robots peuvent désormais passer beaucoup plus rapidement du laboratoire aux applications concrètes.
Lien vers l'article : https://arxiv.org/pdf/2606.28276v1
Article connexe
Anthropic lance Claude Mythos pour résoudre la conjecture d’Erdős avec une preuve concise
Le 26 mai, Sholto Douglas, ingénieur chez Anthropic, a annoncé sur X que son dernier modèle, Claude Mythos, avait résolu une vieille question de géométrie combinatoire datant d'un siècle : la conjecture des distances unitaires d'Erdős. Surnommée une
Amazon acquiert Decart pour 7 milliards de dollars, sécurisant ainsi un adaptateur clé de puces IA
Selon le Wall Street Journal, Amazon négocie l’acquisition de la startup en intelligence artificielle Decart, évaluée à environ 7 milliards de dollars. Si aucune autre offre concurrente ne se présente, la transaction pourrait être finalisée dans les
Comment Locus résout l'un des plus grands défis de la robotique : la manipulation
NeuraGrasp handles diverse items, including small containers, porous polybags, and textiles. | Source: Locus RoboticsLocus Robotics Corp. a résolu de nombreux obstacles robotiques dans des environnements opérationnels réels. Ses robots mobiles autono
Recommandations de sujets spéciaux liés
commentaires (0)
Dans le domaine de l’intelligence incarnée, combler le fossé entre la simulation et la réalité — un processus connu sous le nom de « Sim2Real » — constitue depuis longtemps un obstacle tenace. Les installations de simulation sont coûteuses, et les modèles perdent souvent en performances lorsqu’ils sont déployés dans des environnements physiques. Une étude collaborative récente menée par l’équipe de Li Fei-Fei, le NVIDIA GEAR Lab et Georgia Tech présente une solution novatrice : Real2Sim.
Baptisé « SimFoundry », ce système crée des simulations robotiques interactives, entraînables et testables à partir de simples vidéos du monde réel. Allant au-delà de la reconstruction 3D traditionnelle, SimFoundry effectue une analyse approfondie des scènes pour automatiser la création d’environnements, réduisant ainsi considérablement l’effort nécessaire à la construction de simulations.

L’innovation centrale de SimFoundry repose sur une boucle fermée entre les « jumeaux numériques » et les « cousins numériques ». Le système extrait des données géométriques, physiques et interactives des vidéos pour construire des jumeaux numériques haute fidélité. Il modifie ensuite automatiquement l’apparence, la disposition et les tâches afin de générer divers cousins numériques. Cela permet aux développeurs de tirer des données d’entraînement pratiquement illimitées d’une seule vidéo, facilitant ainsi l’apprentissage et l’évaluation de stratégies de bout en bout au sein de la simulation.
Des expériences confirment la forte capacité prédictive de SimFoundry, les performances simulées des robots correspondant étroitement aux résultats observés dans le monde réel. Élément crucial : les stratégies entraînées sur ces données synthétiques se transposent efficacement dans la réalité sans ajustement (« zero-shot »), et excellent dans des tâches complexes telles que les opérations en plusieurs étapes et la coordination des deux bras.
Co-développé par des experts de premier plan en robotique, notamment des membres clés du NVIDIA GEAR Lab et de l’équipe de Li Fei-Fei, ce système open source promet de transformer le développement de l’IA incarnée. En remplaçant la collecte manuelle et coûteuse de données par une technologie générative, les robots peuvent désormais passer beaucoup plus rapidement du laboratoire aux applications concrètes.
Lien vers l'article : https://arxiv.org/pdf/2606.28276v1
Anthropic lance Claude Mythos pour résoudre la conjecture d’Erdős avec une preuve concise
Le 26 mai, Sholto Douglas, ingénieur chez Anthropic, a annoncé sur X que son dernier modèle, Claude Mythos, avait résolu une vieille question de géométrie combinatoire datant d'un siècle : la conjecture des distances unitaires d'Erdős. Surnommée une
Amazon acquiert Decart pour 7 milliards de dollars, sécurisant ainsi un adaptateur clé de puces IA
Selon le Wall Street Journal, Amazon négocie l’acquisition de la startup en intelligence artificielle Decart, évaluée à environ 7 milliards de dollars. Si aucune autre offre concurrente ne se présente, la transaction pourrait être finalisée dans les











