Une étude révèle que les performances des codes d'IA sont surestimées lors des tests en conditions réelles

Une étude menée par l'institut METR indique que le benchmark SWE-bench Verified, largement utilisé pour évaluer les capacités de programmation de l'IA, pourrait surestimer de manière significative les performances des agents IA dans le développement logiciel en conditions réelles. L'étude a révélé qu'environ la moitié des solutions de code générées par l'IA et jugées « conformes » par le benchmark seraient probablement rejetées par les responsables de projets lors d'une revue de code, soulignant ainsi un écart considérable entre les résultats des évaluations automatisées et la qualité réelle du code.

SWE-bench Verified est depuis longtemps considéré comme une norme clé pour évaluer l'ingénierie logicielle assistée par l'IA, permettant de tester si les modèles peuvent résoudre de véritables tâches de programmation dans des projets open source et de vérifier si les modifications de code passent la suite de tests automatisés du projet. Plusieurs entreprises d'IA, dont Anthropic et OpenAI, citent fréquemment les résultats de ce benchmark pour démontrer les progrès de leurs modèles.

Dans cette étude, l'équipe METR a fait appel à quatre développeurs expérimentés chargés de la maintenance des projets open source scikit-learn, Sphinx et pytest pour examiner manuellement 296 extraits de code générés par l'IA. Ces échantillons de code ont été produits par cinq modèles différents : Claude 3.5 Sonnet, Claude 3.7 Sonnet, Claude 4 Opus, Claude 4.5 Sonnet et GPT-5. Les résultats ont révélé que le taux d'acceptation réel par les responsables de maintenance était, en moyenne, inférieur d'environ 24 points de pourcentage aux scores automatisés de SWE-bench — une différence statistiquement significative.

L'étude a également déterminé que le rejet du code généré par l'IA n'était pas principalement dû à des problèmes de style, mais plutôt à des défauts techniques plus importants. Les responsables de maintenance ont classé les problèmes en trois catégories principales : une qualité de code ne répondant pas aux spécifications du projet, une perturbation de la structure du code existant et des erreurs fonctionnelles fondamentales. Une part importante des cas concernait des erreurs fonctionnelles où, bien que le code ait réussi les tests automatisés, il ne résolvait pas correctement le problème visé.

En ce qui concerne la comparaison des modèles, la recherche a révélé que le passage de Claude 3.5 Sonnet à Claude 3.7 Sonnet améliorait considérablement le taux de réussite aux tests de référence, mais que le nombre d'erreurs fonctionnelles signalées par les responsables de maintenance augmentait également. Le passage de Claude 3.7 Sonnet à Claude 4 Opus a entraîné une augmentation des problèmes de qualité du code, tandis que Claude 4.5 Sonnet a montré des améliorations en la matière. En revanche, GPT-5 a obtenu des résultats globalement nettement inférieurs à ceux de la série de modèles Anthropic lors de cette évaluation manuelle.

L'équipe de recherche a également effectué une analyse estimative du « temps de réalisation des tâches » : selon les résultats de l'évaluation automatisée SWE-bench, il faudrait environ 50 minutes d'effort humain à Claude 4.5 Sonnet pour accomplir des tâches avec un taux de réussite de 50 %. Cependant, d'après les notes attribuées par les responsables de maintenance, le temps estimé tombe à seulement environ 8 minutes, ce qui suggère que le benchmark pourrait surestimer les capacités jusqu'à sept fois.

Les chercheurs ont toutefois souligné que cette étude n’implique pas une limite fondamentale des capacités des agents de programmation IA. Avec des stratégies d’invite améliorées, davantage de retours humains ou des cycles d’itération multiples, l’écart entre l’évaluation automatisée et l’examen manuel pourrait être réduit. De plus, le cadre expérimental diffère des processus de développement réels : par exemple, les agents IA n’avaient droit qu’à une seule tentative de soumission, alors que les développeurs humains peuvent généralement modifier le code de manière itérative en fonction des retours.

En résumé, l'étude conclut que le fait de se fier uniquement aux scores de référence pour évaluer l'utilité pratique des agents de programmation IA peut introduire un biais systématique. Alors que les modèles de codage IA évoluent rapidement, le développement de systèmes d'évaluation reflétant mieux les environnements de développement réels est devenu un axe de recherche crucial en génie logiciel IA.