Un estudio revela que el rendimiento del código de IA se ha exagerado en las pruebas en condiciones reales

Una investigación del instituto METR indica que el popular banco de pruebas SWE-bench Verified, utilizado para evaluar las capacidades de programación de la IA, podría sobrevalorar significativamente el rendimiento de los agentes de IA en el desarrollo de software en el mundo real. El estudio reveló que aproximadamente la mitad de las soluciones de código generadas por IA que el banco de pruebas calificó como «aprobadas» probablemente serían rechazadas por los responsables de los proyectos reales durante la revisión del código, lo que pone de manifiesto una brecha considerable entre los resultados de la evaluación automatizada y la calidad del código en la práctica.

SWE-bench Verified se ha considerado durante mucho tiempo un estándar clave para evaluar la ingeniería de software asistida por IA, ya que comprueba si los modelos pueden resolver tareas de programación reales en proyectos de código abierto y verifica si los cambios en el código superan el conjunto de pruebas automatizadas del proyecto. Varias empresas de IA, entre ellas Anthropic y OpenAI, citan con frecuencia los resultados de este benchmark para demostrar los avances de sus modelos.

En este estudio, el equipo de METR contó con cuatro desarrolladores experimentados que mantienen los proyectos de código abierto scikit-learn, Sphinx y pytest para revisar manualmente 296 fragmentos de código generado por IA. Estas muestras de código fueron producidas por cinco modelos diferentes: Claude 3.5 Sonnet, Claude 3.7 Sonnet, Claude 4 Opus, Claude 4.5 Sonnet y GPT-5. Los resultados revelaron que la tasa de aceptación real por parte de los mantenedores fue, de media, unos 24 puntos porcentuales inferior a las puntuaciones automatizadas de SWE-bench, una diferencia estadísticamente significativa.

El estudio también determinó que el código de IA rechazado no se debía principalmente a cuestiones de estilo, sino más bien a fallos de ingeniería más sustanciales. Los mantenedores clasificaron los problemas en tres tipos principales: calidad del código que no cumplía con las especificaciones del proyecto, alteración de la estructura del código existente y errores funcionales fundamentales. Una parte significativa de los casos implicaba errores funcionales en los que, a pesar de superar las pruebas automatizadas, el código no resolvía correctamente el problema previsto.

En cuanto a la comparación de modelos, la investigación reveló que la actualización de Claude 3.5 Sonnet a Claude 3.7 Sonnet mejoró significativamente la tasa de superación de las pruebas de referencia, pero también aumentó el número de errores funcionales señalados por los mantenedores. La transición de Claude 3.7 Sonnet a Claude 4 Opus supuso un aumento de los problemas de calidad del código, mientras que Claude 4.5 Sonnet mostró mejoras en la calidad del código. Por el contrario, GPT-5 obtuvo unos resultados notablemente peores en general que la serie de modelos de Anthropic en esta evaluación manual.

El equipo de investigación también realizó un análisis estimado del «tiempo de finalización de tareas»: según los resultados de la evaluación automatizada de SWE-bench, Claude 4.5 Sonnet necesitaría aproximadamente 50 minutos de esfuerzo humano para completar tareas con una tasa de éxito del 50 %. Sin embargo, según las puntuaciones de los mantenedores, el tiempo estimado se reduce a solo unos 8 minutos, lo que sugiere que el benchmark podría sobreestimar las capacidades hasta siete veces.

No obstante, los investigadores también hicieron hincapié en que este estudio no implica un límite fundamental en las capacidades de los agentes de programación de IA. Con estrategias de prompting mejoradas, más retroalimentación humana o múltiples ciclos de iteración, la brecha entre la evaluación automatizada y la revisión manual podría reducirse. Además, la configuración experimental difiere de los procesos de desarrollo reales; por ejemplo, los agentes de IA solo tenían un intento de envío, mientras que los desarrolladores humanos suelen modificar el código de forma iterativa basándose en la retroalimentación.

En resumen, el estudio concluye que basarse únicamente en las puntuaciones de los benchmarks para evaluar la utilidad práctica de los agentes de programación de IA puede introducir un sesgo sistemático. A medida que los modelos de codificación de IA evolucionan rápidamente, el desarrollo de sistemas de evaluación que reflejen mejor los entornos de desarrollo del mundo real se ha convertido en una línea de investigación crucial en la ingeniería de software de IA.