Deepmind's AI supera a los medallistas de oro de la OMI

El último IA de Google DeepMind, AlphaGeometry2, ha causado sensación al superar al medallista de oro promedio en la resolución de problemas de geometría en la Olimpiada Matemática Internacional (IMO). Esta versión avanzada de AlphaGeometry, presentada en enero pasado, resolvió el 84% de los problemas de geometría de las últimas 25 ediciones de las competiciones de la IMO.

Podrías preguntarte por qué DeepMind se centra en un concurso de matemáticas de secundaria. Bueno, creen que resolver estos desafiantes problemas de geometría euclidiana podría ser un paso hacia el desarrollo de IA más avanzada. Resolver estos problemas requiere razonamiento lógico y la capacidad de navegar por varias rutas de solución, habilidades que podrían ser cruciales para futuros sistemas de IA de propósito general.

Este verano, DeepMind presentó un sistema que combinó AlphaGeometry2 con AlphaProof, otro modelo de IA diseñado para el razonamiento matemático formal. Juntos, abordaron cuatro de los seis problemas de la IMO 2024. Este enfoque podría extenderse más allá de la geometría a otras áreas de las matemáticas y la ciencia, como cálculos de ingeniería complejos.

AlphaGeometry2 está impulsado por varios componentes clave, incluido un modelo de lenguaje de la familia Gemini de Google y un "motor simbólico". El modelo Gemini asiste al motor simbólico, que aplica reglas matemáticas para encontrar soluciones, en la creación de pruebas factibles para teoremas de geometría.

En la IMO, los problemas de geometría a menudo requieren añadir "constructos" como puntos, líneas o círculos a los diagramas antes de resolverlos. El modelo Gemini de AlphaGeometry2 predice qué constructos podrían ser útiles, guiando al motor simbólico para hacer deducciones.

Así funciona: El modelo Gemini sugiere pasos y construcciones en un lenguaje matemático formal, que el motor verifica por consistencia lógica. AlphaGeometry2 usa un algoritmo de búsqueda para explorar múltiples rutas de solución simultáneamente y almacena hallazgos potencialmente útiles en una base de conocimiento compartida.

Un problema se considera "resuelto" cuando AlphaGeometry2 combina las sugerencias del modelo Gemini con los principios conocidos del motor simbólico para formar una prueba completa.

Debido a la escasez de datos de entrenamiento de geometría utilizables, DeepMind creó datos sintéticos para entrenar el modelo de lenguaje de AlphaGeometry2, generando más de 300 millones de teoremas y pruebas de distinta complejidad.

El equipo de DeepMind probó AlphaGeometry2 en 45 problemas de geometría de las competiciones de la IMO desde 2000 hasta 2024, que ampliaron a 50 problemas. AlphaGeometry2 resolvió 42 de estos, superando la puntuación promedio de los medallistas de oro de 40.9.

Sin embargo, AlphaGeometry2 tiene sus limitaciones. Lucha con problemas que involucran un número variable de puntos, ecuaciones no lineales y desigualdades. Aunque no es el primer IA en alcanzar un rendimiento de nivel de medalla de oro en geometría, es el primero en hacerlo con un conjunto de problemas tan grande.

Cuando se enfrentó a un conjunto más difícil de 29 problemas nominados para la IMO que aún no han aparecido en competiciones, AlphaGeometry2 solo pudo resolver 20.

Los resultados del estudio probablemente desencadenarán más debate sobre el mejor enfoque para construir sistemas de IA. ¿Deberíamos centrarnos en la manipulación de símbolos, donde la IA usa reglas para manipular símbolos que representan conocimiento, o en redes neuronales, que imitan la estructura del cerebro humano y aprenden de datos?

AlphaGeometry2 adopta un enfoque híbrido, combinando la arquitectura de red neuronal del modelo Gemini con el motor simbólico basado en reglas.

Los defensores de las redes neuronales argumentan que el comportamiento inteligente puede surgir de grandes cantidades de datos y poder computacional. En contraste, los proponentes de la IA simbólica creen que es más adecuada para codificar conocimiento, razonar a través de escenarios complejos y explicar soluciones.

Vince Conitzer, profesor de ciencias de la computación en la Universidad Carnegie Mellon especializado en IA, comentó sobre el contraste entre el impresionante progreso en pruebas como la IMO y las continuas dificultades de los modelos de lenguaje con problemas simples de sentido común. Enfatizó la necesidad de comprender mejor estos sistemas y los riesgos que representan.

AlphaGeometry2 sugiere que combinar la manipulación de símbolos y las redes neuronales podría ser un camino prometedor en la búsqueda de una IA generalizable. Curiosamente, el equipo de DeepMind encontró que el modelo de lenguaje de AlphaGeometry2 podía generar soluciones parciales a problemas sin la ayuda del motor simbólico, insinuando el potencial para que los modelos de lenguaje se vuelvan autosuficientes en el futuro.

Sin embargo, el equipo señaló que hasta que la velocidad del modelo de lenguaje mejore y se resuelvan las alucinaciones, herramientas como los motores simbólicos seguirán siendo esenciales para aplicaciones matemáticas.