L'IA bat les Olympiades mais a du mal avec les mathématiques de base à l'école

L'année 2025 a marqué une étape remarquable lorsque les systèmes Google DeepMind et OpenAI ont remporté une médaille d'or à l'Olympiade internationale de mathématiques. Ces modèles d'IA ont résolu des problèmes que seuls quelques jeunes mathématiciens parmi les plus brillants du monde parviennent à résoudre. Pourtant, ces mêmes systèmes butent fréquemment sur des calculs arithmétiques de base que n'importe quel collégien pourrait maîtriser. Ce paradoxe frappant révèle un aspect fondamental de l'IA contemporaine : nous assistons à l'émergence d'une intelligence en dents de scie, où les machines font preuve de capacités surhumaines dans des domaines spécifiques tout en échouant dans des tâches que nous considérons comme élémentaires.

Le triomphe des Olympiades

L'Olympiade internationale de mathématiques représente le summum de la compétition mathématique pré-universitaire. Chaque année, les meilleurs élèves s'attaquent à six problèmes nécessitant une grande perspicacité, de la créativité et des techniques de preuve avancées. En 2025, les IA de Google DeepMind et d'OpenAI ont obtenu 35 points sur 42, décrochant ainsi la médaille d'or. AlphaGeometry 2 de DeepMind a résolu un problème de géométrie complexe en seulement 19 secondes, tandis qu'AlphaProof s'est attaqué à des problèmes de théorie des nombres et d'algèbre qui ont laissé la plupart des participants humains perplexes.

Ces percées s'appuient sur des années de progrès constants. Les systèmes utilisent des langages mathématiques formels tels que Lean pour construire des preuves rigoureuses et emploient des méthodes telles que l'apprentissage par cursus, en s'entraînant sur des problèmes de difficulté croissante. Ce processus permet à l'IA de saisir les relations complexes entre les objets mathématiques, de reconnaître des modèles subtils et de formuler des preuves élégantes.

La lutte élémentaire

L'IA qui triomphe aux Olympiades échoue souvent dans des tâches apparemment triviales. Lorsqu'on lui demande de multiplier de grands nombres, elle peut produire en toute confiance une réponse erronée. Ses performances sur d'autres opérations arithmétiques de base peuvent être tout aussi imprévisibles. Le problème ne se limite pas au simple calcul. Ces systèmes ont souvent du mal à résoudre des problèmes de mots qui nécessitent le suivi de plusieurs quantités, la compréhension du contexte réel ou l'application séquentielle d'opérations fondamentales.

Cette faiblesse est liée au mode de fonctionnement de ces modèles. Les grands modèles de langage prédisent le texte suivant en se basant sur les modèles de leurs données d'apprentissage. Lorsqu'ils voient "2 + 2", ils produisent correctement "4", non pas parce qu'ils comprennent l'addition, mais parce que cette séquence apparaît de manière omniprésente dans leur formation. Si on leur présente des calculs inhabituels, rarement vus, leurs performances s'effondrent. Ce sont des moteurs de correspondance de modèles, qui excellent avec des modèles clairs et cohérents, mais qui se débattent lorsqu'on les oblige à calculer quelque chose de nouveau.

Le paradoxe de l'architecture

La contradiction entre le succès des Olympiades et l'échec de l'arithmétique met en évidence un problème architectural plus profond. L'IA moderne excelle dans les problèmes qui peuvent être résolus par la reconnaissance des formes, la déduction logique et l'exploration systématique des espaces de solution. Les problèmes des Olympiades, bien que difficiles, possèdent souvent des structures élégantes que l'IA peut exploiter. Les systèmes peuvent explorer des stratégies de preuve, vérifier des étapes logiques et s'appuyer sur des cadres mathématiques établis, en opérant dans un monde régi par des symboles, des règles et la logique.

L'arithmétique de base, paradoxalement, présente un défi différent. Elle exige une manipulation précise des quantités, et non une correspondance des formes. Elle exige une compréhension de la magnitude numérique et des relations qui ne peuvent être approximées. Lorsqu'un modèle d'IA traite l'arithmétique comme une tâche de modélisation du langage, il considère les nombres comme des jetons à prédire plutôt que comme des quantités à calculer. Cette inadéquation fondamentale entre les exigences de la tâche et l'architecture du modèle est à l'origine de l'écart de performance observé.

Les données d'entraînement et leurs limites

Les capacités de l'IA sont fortement influencées par les données d'entraînement. Les preuves mathématiques et les problèmes avancés existent souvent en ligne dans des formats bien structurés tels que les articles universitaires, les manuels et les ressources éducatives, qui fournissent des exemples clairs de raisonnement. L'internet regorge de discussions sur les concepts mathématiques et les stratégies de résolution de problèmes, créant ainsi un corpus riche pour l'apprentissage de la pensée avancée.

Les mathématiques élémentaires sont confrontées à un problème différent. Si l'arithmétique de base est courante en ligne, elle est rarement accompagnée d'explications détaillées sur le processus sous-jacent. Les calculs simples sont énoncés comme des faits, et non expliqués comme des procédures. Les données de formation contiennent les résultats des calculs, mais pas le raisonnement étape par étape, ce qui crée une lacune dans la compréhension qui se manifeste par des performances médiocres dans les tâches fondamentales.

Implications pour le développement de l'IA

Cette intelligence en dents de scie a des implications cruciales pour la conception et le déploiement de l'IA. La réussite dans des tâches complexes ne garantit pas la compétence dans des tâches plus simples. Une IA qui prouve des théorèmes peut ne pas réussir à équilibrer un chéquier ; un système qui écrit du code peut avoir du mal à compter. Cette réalité exige une évaluation minutieuse des capacités et des limites des applications réelles.

Le phénomène souligne également la valeur des approches hybrides. Plutôt que de s'attendre à ce qu'un modèle unique puisse tout gérer, nous pourrions avoir besoin de systèmes spécialisés pour différentes tâches. La combinaison du calcul symbolique pour l'arithmétique et des modèles de langage pour le raisonnement pourrait produire des solutions plus fiables. L'avenir réside peut-être dans l'orchestration de multiples systèmes spécialisés plutôt que dans la recherche d'une intelligence unique et monolithique.

La voie à suivre

La reconnaissance de l'intelligence en dents de scie clarifie la voie vers une IA plus performante. Les chercheurs développent des moyens d'intégrer des outils informatiques dans les modèles de langage, ce qui leur permet de décharger l'arithmétique sur des calculateurs spécialisés. De nouvelles stratégies de formation enseignent aux modèles quand utiliser des outils externes au lieu d'internaliser chaque compétence. Cela reflète l'intelligence humaine, où nous utilisons des outils de calcul et concentrons notre énergie mentale sur des raisonnements de plus haut niveau.

En fin de compte, le paradoxe de l'intelligence en dents de scie enseigne l'humilité. Ces systèmes ne sont ni universellement supérieurs ni uniformément limités. Ils possèdent une tapisserie complexe de forces et de faiblesses que nous devons comprendre pour les utiliser et les améliorer efficacement. Pour progresser, il ne suffit pas d'étendre les capacités de l'IA, il faut aussi combler ses lacunes fondamentales. Les machines qui démontrent des théorèmes tout en échouant à l'addition de base nous rappellent que l'intelligence - artificielle ou humaine - reste un phénomène à multiples facettes qui défie toute définition simple.

L'essentiel

La capacité de l'IA à résoudre les problèmes des Olympiades mais pas les mathématiques simples démontre que l'intelligence se développe de manière inégale. Un système peut être brillant dans un domaine et étonnamment faible dans un autre. Il est essentiel de comprendre ce profil irrégulier pour concevoir et appliquer l'IA de manière responsable. Au lieu d'un modèle unique pour toutes les tâches, la solution peut consister à combiner différentes approches qui tirent parti des points forts de chaque système. Les progrès dans le monde réel viendront de la construction d'une IA qui fonctionne de manière fiable dans la pratique, et non de la supposition qu'elle excellera dans tous les domaines.