Maison
Cosmos3, premier modèle d'IA physique multimodal entièrement open source, fait son apparition ; NVIDIA cofonde la Cosmos Alliance
Des progrès significatifs ont été réalisés dans le domaine de l'intelligence artificielle physique. Le 1er juin, NVIDIA a officiellement lancé Cosmos3, un grand modèle fondamental en monde ouvert dédié à l'IA physique. Premier grand modèle d'IA physique multimodal et entièrement open source au monde, il utilise une architecture Transformer hybride innovante qui combine le raisonnement visuel, la génération d'environnements et la prédiction d'actions au sein d'un seul système. Cela pourrait réduire considérablement le cycle de formation et d'évaluation de l'IA physique, le faisant passer de plusieurs mois à quelques jours seulement.
Cosmos3 offre une nouvelle solution au défi de longue date de l'industrie : « la difficulté à généraliser dans des scénarios du monde réel avec des données limitées et des cadres de simulation fragmentés ». Le modèle a été entraîné sur un ensemble de données massif d’IA physique contenant des milliards de textes, d’images, de vidéos, de fichiers audio et de trajectoires de mouvement. Il est capable de comprendre et de générer naturellement du contenu cross-modal, atteignant ainsi une précision de pointe dans la simulation physique.

Sur le plan technique, Cosmos3 combine de manière innovante un Transformer de raisonnement avec un Transformer génératif. Le modèle analyse d’abord en profondeur les règles d’interaction des objets, les états de mouvement et les relations spatio-temporelles, puis génère avec précision des vidéos et prédit les trajectoires d’action. Cette conception lui confère une solide compréhension multimodale des images et du texte, la capacité de simuler et de prédire des environnements physiques, ainsi que des capacités de stratégie d’action pour aider les robots à accomplir des tâches spécifiques. Dans plusieurs benchmarks phares de l’IA physique, notamment Artificial Analysis, Physics-IQ et RoboLab, Cosmos3 se classe parmi les meilleurs modèles open source.
Afin de s'adapter aux différentes étapes de développement, NVIDIA a publié plusieurs versions : Cosmos3Super, axé sur l'entraînement secondaire de modèles de robotique et de conduite autonome avec une précision extrême, et Cosmos3Nano, capable d'effectuer une analyse vidéo de haute qualité et un raisonnement d'action en quelques secondes. Les deux sont désormais officiellement disponibles. La version Cosmos3Edge, conçue pour l'inférence en temps réel sur des périphériques de bord, figure également dans la feuille de route des lancements.
Parallèlement au lancement de ce modèle de grande envergure, NVIDIA a cofondé la « NVIDIA Cosmos Coalition » avec des équipes de recherche de premier plan et des développeurs d’IA du monde entier, notamment Agile Robots, Black Forest Labs, Generalist, LTX, Runway et Skild AI. Jensen Huang, fondateur et PDG de NVIDIA, a déclaré qu'avec les avancées continues en matière de raisonnement multimodal et de modèles du monde, l'ère transformatrice de l'IA physique était arrivée. La sortie de ces modèles open source de pointe aidera les développeurs du monde entier à réaliser des avancées technologiques et à créer la prochaine génération de systèmes intelligents capables de percevoir, de raisonner et d'agir dans le monde réel.
Article connexe
Suno appose des filigranes aux chansons dans le cadre de batailles juridiques
Suno, la plateforme permettant aux utilisateurs de générer de la musique créée par l’intelligence artificielle, a dévoilé de nouvelles fonctionnalités pour étiqueter les titres produits sur la plateforme, restreindre les téléchargements et mettre à j
Musk admet que la construction de Grok a divulgué le code utilisateur, promet d’effacer toutes les données historiques
Elon Musk a abordé directement la controverse sur la vie privée concernant Grok Build, en commençant par un simple « Vrai » pour confirmer la validité de l’incident. Il s’est engagé à ce que toutes les données utilisateur précédemment téléchargées su
Les actions américaines atteignent un jalon historique alors que les géants de l'IA et de l'aérospatiale se préparent pour leur entrée boursière à la valeur du trillion de dollars.
Elon Musk, Sam Altman et Dario Amodei, trois titans du secteur technologique, s’approchent des introductions en bourse de leurs entreprises respectives. Avec SpaceX, OpenAI et Anthropic – trois géants de l’industrie dont les valorisations approchent
Recommandations de sujets spéciaux liés
commentaires (0)
Des progrès significatifs ont été réalisés dans le domaine de l'intelligence artificielle physique. Le 1er juin, NVIDIA a officiellement lancé Cosmos3, un grand modèle fondamental en monde ouvert dédié à l'IA physique. Premier grand modèle d'IA physique multimodal et entièrement open source au monde, il utilise une architecture Transformer hybride innovante qui combine le raisonnement visuel, la génération d'environnements et la prédiction d'actions au sein d'un seul système. Cela pourrait réduire considérablement le cycle de formation et d'évaluation de l'IA physique, le faisant passer de plusieurs mois à quelques jours seulement.
Cosmos3 offre une nouvelle solution au défi de longue date de l'industrie : « la difficulté à généraliser dans des scénarios du monde réel avec des données limitées et des cadres de simulation fragmentés ». Le modèle a été entraîné sur un ensemble de données massif d’IA physique contenant des milliards de textes, d’images, de vidéos, de fichiers audio et de trajectoires de mouvement. Il est capable de comprendre et de générer naturellement du contenu cross-modal, atteignant ainsi une précision de pointe dans la simulation physique.

Sur le plan technique, Cosmos3 combine de manière innovante un Transformer de raisonnement avec un Transformer génératif. Le modèle analyse d’abord en profondeur les règles d’interaction des objets, les états de mouvement et les relations spatio-temporelles, puis génère avec précision des vidéos et prédit les trajectoires d’action. Cette conception lui confère une solide compréhension multimodale des images et du texte, la capacité de simuler et de prédire des environnements physiques, ainsi que des capacités de stratégie d’action pour aider les robots à accomplir des tâches spécifiques. Dans plusieurs benchmarks phares de l’IA physique, notamment Artificial Analysis, Physics-IQ et RoboLab, Cosmos3 se classe parmi les meilleurs modèles open source.
Afin de s'adapter aux différentes étapes de développement, NVIDIA a publié plusieurs versions : Cosmos3Super, axé sur l'entraînement secondaire de modèles de robotique et de conduite autonome avec une précision extrême, et Cosmos3Nano, capable d'effectuer une analyse vidéo de haute qualité et un raisonnement d'action en quelques secondes. Les deux sont désormais officiellement disponibles. La version Cosmos3Edge, conçue pour l'inférence en temps réel sur des périphériques de bord, figure également dans la feuille de route des lancements.
Parallèlement au lancement de ce modèle de grande envergure, NVIDIA a cofondé la « NVIDIA Cosmos Coalition » avec des équipes de recherche de premier plan et des développeurs d’IA du monde entier, notamment Agile Robots, Black Forest Labs, Generalist, LTX, Runway et Skild AI. Jensen Huang, fondateur et PDG de NVIDIA, a déclaré qu'avec les avancées continues en matière de raisonnement multimodal et de modèles du monde, l'ère transformatrice de l'IA physique était arrivée. La sortie de ces modèles open source de pointe aidera les développeurs du monde entier à réaliser des avancées technologiques et à créer la prochaine génération de systèmes intelligents capables de percevoir, de raisonner et d'agir dans le monde réel.
Suno appose des filigranes aux chansons dans le cadre de batailles juridiques
Suno, la plateforme permettant aux utilisateurs de générer de la musique créée par l’intelligence artificielle, a dévoilé de nouvelles fonctionnalités pour étiqueter les titres produits sur la plateforme, restreindre les téléchargements et mettre à j
Musk admet que la construction de Grok a divulgué le code utilisateur, promet d’effacer toutes les données historiques
Elon Musk a abordé directement la controverse sur la vie privée concernant Grok Build, en commençant par un simple « Vrai » pour confirmer la validité de l’incident. Il s’est engagé à ce que toutes les données utilisateur précédemment téléchargées su
Les actions américaines atteignent un jalon historique alors que les géants de l'IA et de l'aérospatiale se préparent pour leur entrée boursière à la valeur du trillion de dollars.
Elon Musk, Sam Altman et Dario Amodei, trois titans du secteur technologique, s’approchent des introductions en bourse de leurs entreprises respectives. Avec SpaceX, OpenAI et Anthropic – trois géants de l’industrie dont les valorisations approchent











