Maison
Étude de Microsoft révèle les limites des modèles d'IA dans le débogage de logiciels
Les modèles d'IA d'OpenAI, Anthropic et d'autres laboratoires d'IA de pointe sont de plus en plus utilisés pour les tâches de codage. Le PDG de Google, Sundar Pichai, a noté en octobre que l'IA génère 25 % du nouveau code dans l'entreprise, tandis que le PDG de Meta, Mark Zuckerberg, vise à implémenter largement des outils de codage par IA au sein du géant des réseaux sociaux.
Cependant, même les modèles les plus performants peinent à corriger les bogues logiciels que les développeurs expérimentés gèrent avec aisance.
Une récente étude de Microsoft Research, menée par la division R&D de Microsoft, montre que des modèles comme Claude 3.7 Sonnet d'Anthropic et o3-mini d'OpenAI ont du mal à résoudre de nombreux problèmes dans le benchmark de développement logiciel SWE-bench Lite. Les résultats soulignent que, malgré les revendications ambitieuses d'entreprises comme OpenAI, l'IA reste en deçà de l'expertise humaine dans des domaines comme le codage.
Les chercheurs de l'étude ont testé neuf modèles comme base pour un « agent basé sur une seule invite » équipé d'outils de débogage, y compris un débogueur Python. L'agent a été chargé de relever 300 défis de débogage logiciel soigneusement sélectionnés dans SWE-bench Lite.
Les résultats ont montré que même avec des modèles avancés, l'agent a rarement réussi à résoudre plus de la moitié des tâches avec succès. Claude 3.7 Sonnet a dominé avec un taux de réussite de 48,4 %, suivi par o1 d'OpenAI à 30,2 %, et o3-mini à 22,1 %.
Un graphique de l'étude montrant l'amélioration des performances des modèles grâce aux outils de débogage. Crédits image : Microsoft Qu'explique ces résultats décevants ? Certains modèles ont eu du mal à utiliser efficacement les outils de débogage disponibles ou à identifier quels outils convenaient à des problèmes spécifiques. Le principal problème, selon les chercheurs, était un manque de données d'entraînement suffisantes, en particulier des données capturant les « processus de prise de décision séquentielle » comme les traces de débogage humain.
« Nous pensons que l'entraînement ou l'ajustement fin de ces modèles peut améliorer leurs capacités de débogage », ont écrit les chercheurs. « Cependant, cela nécessite des données spécialisées, telles que des données de trajectoire capturant les interactions des agents avec un débogueur pour recueillir des informations avant de proposer des corrections. »
Participez aux sessions TechCrunch : IA
Réservez votre place à notre événement phare de l'industrie de l'IA, avec des conférenciers d'OpenAI, Anthropic et Cohere. Pour une durée limitée, les billets coûtent seulement 292 $ pour une journée complète de conférences d'experts, d'ateliers et d'opportunités de réseautage.
Exposez aux sessions TechCrunch : IA
Réservez votre place aux sessions TC : IA pour présenter votre travail à plus de 1 200 décideurs. Des opportunités d'exposition sont disponibles jusqu'au 9 mai ou jusqu'à ce que les stands soient entièrement réservés.
Les résultats ne sont pas surprenants. De nombreuses études ont montré que le code généré par l'IA introduit souvent des failles de sécurité et des erreurs en raison de faiblesses dans la compréhension de la logique de programmation. Un test récent de Devin, un outil de codage IA bien connu, a révélé qu'il ne pouvait accomplir que trois des 20 tâches de programmation.
L'étude de Microsoft offre l'un des examens les plus approfondis de ce défi persistant pour les modèles d'IA. Bien qu'il soit peu probable que cela freine l'intérêt des investisseurs pour les outils de codage alimentés par l'IA, cela pourrait inciter les développeurs et leurs dirigeants à reconsidérer une dépendance excessive envers l'IA pour les tâches de codage.
Notamment, plusieurs leaders technologiques ont repoussé l'idée que l'IA éliminera les emplois de codage. Le cofondateur de Microsoft, Bill Gates, le PDG de Replit, Amjad Masad, le PDG d'Okta, Todd McKinnon, et le PDG d'IBM, Arvind Krishna, ont tous exprimé leur confiance dans la pérennité de la profession de programmeur.
Article connexe
Ollie mise sur la protection de la vie privée pour remporter la course aux assistants IA
Pour être véritablement utile, un assistant IA doit comprendre en profondeur son utilisateur. Ollie, un assistant personnel conçu pour la vie quotidienne, part du principe que cela ne nécessite pas de
Comment « AI LIVE : Londres » abordera les thèmes de l'IA et de l'automatisation industrielle
Ce sommet réunira des dirigeants de haut niveau venus du monde entier afin d'aborder les défis urgents auxquels sont confrontés les secteurs d'activité à l'échelle mondiale, allant des bouleversements
Anthropic entre sur le marché de la technologie juridique en intelligence artificielle alors que la concurrence s'intensifie
Anthropic a dévoilé une série de nouvelles fonctionnalités de chatbot mardi, visant à fournir un support automatisé aux cabinets d’avocats. Ces améliorations étendent Claude for Legal, la plateforme spécifique aux cabinets lancée plus tôt cette année
Recommandations de sujets spéciaux liés
code
Outils d'analyse des pull requests basés sur l'IA pour les équipes GitHub chargées de la refactorisation, de la correction des bogues et de la résolution des failles de sécurité
Les meilleurs outils 2026 d’analyse des pull requests par IA pour les équipes GitHub sont disponibles sur XIX.AI ! Cette sélection triée sur le volet présente des solutions puissantes et révolutionnaires qui optimisent la refactorisation, la correction des bugs et la détection des failles de sécurité dans tous les workflows d’équipe. Profitez d'une comparaison entre les versions gratuites et payantes, ainsi que de tests en conditions réelles et de classements détaillés pour vous aider à trouver l'outil idéal qui boostera considérablement votre productivité. Découvrez-les dès maintenant pour exploiter pleinement le potentiel de l'IA !
12 outils
xix.ai
Synthèse vocale
Les meilleurs outils d'IA de synthèse vocale pour des voix off naturelles
Les meilleurs outils d'IA de synthèse vocale de 2026, les mieux notés pour des voix off naturelles, sont disponibles ici sur XIX.AI ! Cette sélection regroupe des solutions puissantes et révolutionnaires qui offrent des voix d'une clarté cristalline pour tous les cas d'utilisation, étayées par des tests en conditions réelles et des classements mis à jour chaque semaine. Consultez notre comparatif entre les versions gratuites et payantes pour trouver la solution incontournable qui boostera instantanément votre productivité. Découvrez-la dès maintenant pour exploiter pleinement le potentiel de l’IA !
11 outils
xix.ai
Création de bande dessinée
Générateurs d'arrière-plans par IA pour les chapitres de séries de mangas, les couvertures et les illustrations promotionnelles
Classement 2026 des meilleurs générateurs d'arrière-plans de mangas par IA : les mieux notés ! Cette sélection présente des outils puissants et révolutionnaires, parfaits pour créer des arrière-plans de chapitres, des couvertures de livres et des illustrations promotionnelles de haute qualité. Chaque option a été soumise à des tests rigoureux en conditions réelles afin de garantir sa fiabilité. Découvrez une comparaison entre les versions gratuites et payantes, ainsi que des informations détaillées. Explorez dès maintenant cette sélection pour trouver l'outil qui vous convient le mieux et tirez pleinement parti de l'IA dans la création de mangas.
6 outils
xix.ai
Édition d'images
Éditeurs de suppression d'objets par IA : retouchez vos portraits, vos photos de voyage et vos photos de produits
Les meilleurs éditeurs d'IA pour la suppression d'objets en 2026, les mieux notés pour les portraits, les photos de voyage et les photos de produits ! XIX.AI propose une sélection d'outils puissants et révolutionnaires, régulièrement mise à jour avec des classements hebdomadaires. Ces outils ont fait leurs preuves dans la pratique et vous aident à supprimer rapidement les éléments indésirables, à améliorer la qualité de votre contenu et à gagner un temps considérable sans compromettre les résultats. À essayer absolument pour tous ceux qui souhaitent exploiter pleinement le potentiel de la création par IA. Découvrez-les dès maintenant !
10 outils
xix.ai
Synthèse vocale
Les meilleurs outils d' synthèse vocale basés sur l'IA pour les cours en ligne
Les meilleurs outils de synthèse vocale basés sur l'IA pour les cours en ligne en 2026 ont été sélectionnés par XIX.AI à l'issue de tests rigoureux en conditions réelles et selon un classement mis à jour chaque semaine. Ces outils performants aident les créateurs à produire sans effort des contenus audio d'une clarté exceptionnelle, ce qui améliore l'efficacité de la rédaction et rationalise la production des cours. Consultez le comparatif entre les versions gratuites et payantes pour trouver celle qui vous convient le mieux. Découvrez-les dès maintenant pour tirer pleinement parti de l'IA dans l'enseignement en ligne.
10 outils
xix.ai
en écrivant
Outils de titre de blogue IA pour des taux de clic plus élevés
2026 Derniers Meilleurs Outils de Titres de Blog IA les Mieux Notés pour des Taux de Clic Plus Élevés ! XIX.AI a soigneusement sélectionné une collection puissante et révolutionnaire des meilleurs outils qui ont passé des tests rigoureux dans le monde réel. Vous trouverez une comparaison entre les versions gratuites et payantes, des classements mis à jour chaque semaine, ainsi que des analyses détaillées pour vous aider à augmenter efficacement le trafic de votre blog. Les options incontournables sont mises en évidence pour vous permettre de débloquer votre avantage IA. Explorez dès maintenant !
10 outils
xix.ai
commentaires (6)
![ThomasScott]()
微软这个研究结果太真实了😂 前几天用Copilot改bug，它居然把正确代码改得更错了…看来AI写代码还是得人工把关，至少现阶段别太依赖它们debug。
![HenryWalker]()
It's wild that AI is pumping out 25% of Google's code, but this Microsoft study shows it's not perfect at debugging. Kinda makes you wonder if we're trusting these models a bit too much too soon. 😅 Anyone else worried about buggy AI code sneaking into big projects?
![BrianRoberts]()
It's wild that AI is cranking out 25% of Google's code, but the debugging struggles are real. Makes me wonder if we're leaning too hard on AI without fixing its blind spots first. 🧑💻
![KevinDavis]()
It's wild that AI is pumping out 25% of Google's code, but the debugging limitations in this study make me wonder if we're leaning too hard on these models without enough human oversight. 🤔
![PeterThomas]()
Interesting read! AI generating 25% of Google's code is wild, but I'm not surprised it struggles with debugging. Machines can churn out code fast, but catching tricky bugs? That’s still a human’s game. 🧑💻
![JuanWhite]()
AI coding sounds cool, but if it can't debug properly, what's the point? 🤔 Feels like we're hyping up half-baked tools while devs still clean up the mess.
Les modèles d'IA d'OpenAI, Anthropic et d'autres laboratoires d'IA de pointe sont de plus en plus utilisés pour les tâches de codage. Le PDG de Google, Sundar Pichai, a noté en octobre que l'IA génère 25 % du nouveau code dans l'entreprise, tandis que le PDG de Meta, Mark Zuckerberg, vise à implémenter largement des outils de codage par IA au sein du géant des réseaux sociaux.
Cependant, même les modèles les plus performants peinent à corriger les bogues logiciels que les développeurs expérimentés gèrent avec aisance.
Une récente étude de Microsoft Research, menée par la division R&D de Microsoft, montre que des modèles comme Claude 3.7 Sonnet d'Anthropic et o3-mini d'OpenAI ont du mal à résoudre de nombreux problèmes dans le benchmark de développement logiciel SWE-bench Lite. Les résultats soulignent que, malgré les revendications ambitieuses d'entreprises comme OpenAI, l'IA reste en deçà de l'expertise humaine dans des domaines comme le codage.
Les chercheurs de l'étude ont testé neuf modèles comme base pour un « agent basé sur une seule invite » équipé d'outils de débogage, y compris un débogueur Python. L'agent a été chargé de relever 300 défis de débogage logiciel soigneusement sélectionnés dans SWE-bench Lite.
Les résultats ont montré que même avec des modèles avancés, l'agent a rarement réussi à résoudre plus de la moitié des tâches avec succès. Claude 3.7 Sonnet a dominé avec un taux de réussite de 48,4 %, suivi par o1 d'OpenAI à 30,2 %, et o3-mini à 22,1 %.
Qu'explique ces résultats décevants ? Certains modèles ont eu du mal à utiliser efficacement les outils de débogage disponibles ou à identifier quels outils convenaient à des problèmes spécifiques. Le principal problème, selon les chercheurs, était un manque de données d'entraînement suffisantes, en particulier des données capturant les « processus de prise de décision séquentielle » comme les traces de débogage humain.
« Nous pensons que l'entraînement ou l'ajustement fin de ces modèles peut améliorer leurs capacités de débogage », ont écrit les chercheurs. « Cependant, cela nécessite des données spécialisées, telles que des données de trajectoire capturant les interactions des agents avec un débogueur pour recueillir des informations avant de proposer des corrections. »
Participez aux sessions TechCrunch : IA
Réservez votre place à notre événement phare de l'industrie de l'IA, avec des conférenciers d'OpenAI, Anthropic et Cohere. Pour une durée limitée, les billets coûtent seulement 292 $ pour une journée complète de conférences d'experts, d'ateliers et d'opportunités de réseautage.
Exposez aux sessions TechCrunch : IA
Réservez votre place aux sessions TC : IA pour présenter votre travail à plus de 1 200 décideurs. Des opportunités d'exposition sont disponibles jusqu'au 9 mai ou jusqu'à ce que les stands soient entièrement réservés.
Les résultats ne sont pas surprenants. De nombreuses études ont montré que le code généré par l'IA introduit souvent des failles de sécurité et des erreurs en raison de faiblesses dans la compréhension de la logique de programmation. Un test récent de Devin, un outil de codage IA bien connu, a révélé qu'il ne pouvait accomplir que trois des 20 tâches de programmation.
L'étude de Microsoft offre l'un des examens les plus approfondis de ce défi persistant pour les modèles d'IA. Bien qu'il soit peu probable que cela freine l'intérêt des investisseurs pour les outils de codage alimentés par l'IA, cela pourrait inciter les développeurs et leurs dirigeants à reconsidérer une dépendance excessive envers l'IA pour les tâches de codage.
Notamment, plusieurs leaders technologiques ont repoussé l'idée que l'IA éliminera les emplois de codage. Le cofondateur de Microsoft, Bill Gates, le PDG de Replit, Amjad Masad, le PDG d'Okta, Todd McKinnon, et le PDG d'IBM, Arvind Krishna, ont tous exprimé leur confiance dans la pérennité de la profession de programmeur.
Ollie mise sur la protection de la vie privée pour remporter la course aux assistants IA
Pour être véritablement utile, un assistant IA doit comprendre en profondeur son utilisateur. Ollie, un assistant personnel conçu pour la vie quotidienne, part du principe que cela ne nécessite pas de
Comment « AI LIVE : Londres » abordera les thèmes de l'IA et de l'automatisation industrielle
Ce sommet réunira des dirigeants de haut niveau venus du monde entier afin d'aborder les défis urgents auxquels sont confrontés les secteurs d'activité à l'échelle mondiale, allant des bouleversements
Anthropic entre sur le marché de la technologie juridique en intelligence artificielle alors que la concurrence s'intensifie
Anthropic a dévoilé une série de nouvelles fonctionnalités de chatbot mardi, visant à fournir un support automatisé aux cabinets d’avocats. Ces améliorations étendent Claude for Legal, la plateforme spécifique aux cabinets lancée plus tôt cette année
Les meilleurs outils 2026 d’analyse des pull requests par IA pour les équipes GitHub sont disponibles sur XIX.AI ! Cette sélection triée sur le volet présente des solutions puissantes et révolutionnaires qui optimisent la refactorisation, la correction des bugs et la détection des failles de sécurité dans tous les workflows d’équipe. Profitez d'une comparaison entre les versions gratuites et payantes, ainsi que de tests en conditions réelles et de classements détaillés pour vous aider à trouver l'outil idéal qui boostera considérablement votre productivité. Découvrez-les dès maintenant pour exploiter pleinement le potentiel de l'IA !
12 outils
xix.ai
Les meilleurs outils d'IA de synthèse vocale de 2026, les mieux notés pour des voix off naturelles, sont disponibles ici sur XIX.AI ! Cette sélection regroupe des solutions puissantes et révolutionnaires qui offrent des voix d'une clarté cristalline pour tous les cas d'utilisation, étayées par des tests en conditions réelles et des classements mis à jour chaque semaine. Consultez notre comparatif entre les versions gratuites et payantes pour trouver la solution incontournable qui boostera instantanément votre productivité. Découvrez-la dès maintenant pour exploiter pleinement le potentiel de l’IA !
11 outils
xix.ai
Classement 2026 des meilleurs générateurs d'arrière-plans de mangas par IA : les mieux notés ! Cette sélection présente des outils puissants et révolutionnaires, parfaits pour créer des arrière-plans de chapitres, des couvertures de livres et des illustrations promotionnelles de haute qualité. Chaque option a été soumise à des tests rigoureux en conditions réelles afin de garantir sa fiabilité. Découvrez une comparaison entre les versions gratuites et payantes, ainsi que des informations détaillées. Explorez dès maintenant cette sélection pour trouver l'outil qui vous convient le mieux et tirez pleinement parti de l'IA dans la création de mangas.
6 outils
xix.ai
Les meilleurs éditeurs d'IA pour la suppression d'objets en 2026, les mieux notés pour les portraits, les photos de voyage et les photos de produits ! XIX.AI propose une sélection d'outils puissants et révolutionnaires, régulièrement mise à jour avec des classements hebdomadaires. Ces outils ont fait leurs preuves dans la pratique et vous aident à supprimer rapidement les éléments indésirables, à améliorer la qualité de votre contenu et à gagner un temps considérable sans compromettre les résultats. À essayer absolument pour tous ceux qui souhaitent exploiter pleinement le potentiel de la création par IA. Découvrez-les dès maintenant !
10 outils
xix.ai
Les meilleurs outils de synthèse vocale basés sur l'IA pour les cours en ligne en 2026 ont été sélectionnés par XIX.AI à l'issue de tests rigoureux en conditions réelles et selon un classement mis à jour chaque semaine. Ces outils performants aident les créateurs à produire sans effort des contenus audio d'une clarté exceptionnelle, ce qui améliore l'efficacité de la rédaction et rationalise la production des cours. Consultez le comparatif entre les versions gratuites et payantes pour trouver celle qui vous convient le mieux. Découvrez-les dès maintenant pour tirer pleinement parti de l'IA dans l'enseignement en ligne.
10 outils
xix.ai
2026 Derniers Meilleurs Outils de Titres de Blog IA les Mieux Notés pour des Taux de Clic Plus Élevés ! XIX.AI a soigneusement sélectionné une collection puissante et révolutionnaire des meilleurs outils qui ont passé des tests rigoureux dans le monde réel. Vous trouverez une comparaison entre les versions gratuites et payantes, des classements mis à jour chaque semaine, ainsi que des analyses détaillées pour vous aider à augmenter efficacement le trafic de votre blog. Les options incontournables sont mises en évidence pour vous permettre de débloquer votre avantage IA. Explorez dès maintenant !
10 outils
xix.ai
微软这个研究结果太真实了😂 前几天用Copilot改bug，它居然把正确代码改得更错了…看来AI写代码还是得人工把关，至少现阶段别太依赖它们debug。
It's wild that AI is pumping out 25% of Google's code, but this Microsoft study shows it's not perfect at debugging. Kinda makes you wonder if we're trusting these models a bit too much too soon. 😅 Anyone else worried about buggy AI code sneaking into big projects?
It's wild that AI is cranking out 25% of Google's code, but the debugging struggles are real. Makes me wonder if we're leaning too hard on AI without fixing its blind spots first. 🧑💻
It's wild that AI is pumping out 25% of Google's code, but the debugging limitations in this study make me wonder if we're leaning too hard on these models without enough human oversight. 🤔
Interesting read! AI generating 25% of Google's code is wild, but I'm not surprised it struggles with debugging. Machines can churn out code fast, but catching tricky bugs? That’s still a human’s game. 🧑💻
AI coding sounds cool, but if it can't debug properly, what's the point? 🤔 Feels like we're hyping up half-baked tools while devs still clean up the mess.
