L'ESI-Bench de Li Feifei : l'IA passe du statut d'observatrice à celui d'actrice

Récemment, l’ESI-Bench (Embodied Spatial Intelligence Benchmark), publié par l’équipe de Fei-Fei Li, a suscité un vif intérêt. Considéré comme l’« ImageNet de l’intelligence incarnée », ce benchmark met en évidence les lacunes majeures des grands modèles de pointe lorsqu’ils interagissent avec l’espace physique.

Pourquoi l’ESI-Bench établit une nouvelle norme en matière d’intelligence incarnée

Les évaluations antérieures de l’intelligence spatiale en IA reposaient en grande partie sur une « perception passive » : on fournissait au modèle quelques images présentant des vues optimales et on le laissait raisonner logiquement. Cette approche testait essentiellement la « vision » du modèle plutôt que sa « cognition spatiale ».

La principale avancée d’ESI-Bench réside dans la mise en œuvre de la boucle perception-action.

Les observateurs deviennent des acteurs : dans ESI-Bench, le modèle ne peut pas rester immobile et se contenter de juger à partir d’images fournies ; il doit décider activement où aller, quoi regarder, quels objets saisir et quelles structures mécaniques actionner, afin de révéler des informations spatiales cachées à travers une série d’actions interactives.

Fondements conceptuels : ce benchmark s’appuie sur le « système de connaissances fondamentales des nourrissons humains » de la psychologue cognitive Elizabeth Spelke, qui couvre quatre dimensions : la représentation des objets, la disposition et la géométrie, la représentation des quantités et l’action orientée vers un but.

Échelle et plateforme : il comprend 10 catégories, 29 sous-catégories et 3 081 exemples de tâches, développés sur la plateforme de simulation OmniGibson à partir de ressources issues de la bibliothèque de scènes BEHAVIOR-1K.

Trois vérités fondamentales révélées par l’évaluation

L’équipe de recherche a mené des tests approfondis sur des modèles multimodaux de pointe tels que GPT-5 et la série Gemini. Les résultats donnent à réfléchir :

1. Ce n’est pas la perception qui constitue le goulot d’étranglement, mais la stratégie d’action

Lorsqu’on leur fournit la vue optimale, les modèles donnent souvent des réponses précises — la précision peut passer de 14,6 % à 95,1 %. Mais lorsqu’ils doivent trouver activement cette vue, la précision chute de manière spectaculaire.

Cécité d’action : les modèles manquent de stratégies de navigation et de manipulation ; des actions incorrectes conduisent à des vues de mauvaise qualité, ce qui déclenche des erreurs en cascade dans les jugements ultérieurs.

2. Une reconstruction 3D imparfaite est plus trompeuse que des images 2D

Cette étude remet en cause l’hypothèse selon laquelle « les cartes 3D constituent une solution universelle ».

Lorsqu’on leur fournit des données de référence 3D parfaites prises en vue aérienne, les performances de raisonnement sont excellentes. Cependant, l’utilisation des techniques VGGT avancées actuelles pour la reconstruction en temps réel introduit des artefacts géométriques, des erreurs d’occlusion et des écarts de profondeur — ce qui revient essentiellement à alimenter le modèle de raisonnement avec des données toxiques, ce qui donne des performances inférieures à celles obtenues en visualisant simplement des images 2D.

3. Déficit métacognitif : l’IA ne sait pas qu’elle « n’en a pas vu assez »

C’est là le plus grand fossé cognitif entre les humains et l’IA :

Différence de prudence cognitive : les humains recherchent activement des points de vue contradictoires lorsque les informations sont ambiguës et réduisent leur niveau de confiance en cas d’incertitude.

Hallucination du modèle : les modèles cessent souvent d’explorer trop tôt, même avec des informations extrêmement limitées, et fournissent avec assurance des conclusions erronées. L’équipe appelle cela le « déficit métacognitif » : le modèle ne dispose pas d’un mécanisme interne de doute et ne peut pas évaluer si les informations actuelles sont suffisantes.

Quelle est la prochaine étape pour l’intelligence incarnée ?

ESI-Bench marque un changement de paradigme, passant de la « mise en correspondance statique image-texte » à une « véritable interaction physique » dans l’évaluation de l’intelligence incarnée. Comme le souligne l’équipe de Fei-Fei Li, parvenir à une véritable intelligence spatiale nécessite davantage que de simplement empiler des encodeurs visuels ou d’augmenter la puissance de calcul.

Les futures recherches sur l’intelligence incarnée doivent se concentrer sur la capacité des modèles à :

une capacité de prise de décision active en matière de séquences d’exploration, plutôt qu’une simple reconnaissance d’images ;

une plus grande robustesse, afin de conserver un jugement logique même lorsque les observations de la scène sont imparfaites ;

une boucle métacognitive intégrée, afin que l’IA apprenne à explorer lorsqu’elle manque de réponses, au lieu de produire de fausses hallucinations.