HeimMicrosoft-Studie zeigt die Grenzen von KI-Modellen beim Software-Debugging
KI-Modelle von OpenAI, Anthropic und anderen führenden KI-Laboren werden zunehmend für Programmieraufgaben eingesetzt. Google-CEO Sundar Pichai bemerkte im Oktober, dass KI 25 % des neuen Codes im Unternehmen generiert, während Meta-CEO Mark Zuckerberg plant, KI-Programmierwerkzeuge weitreichend im Social-Media-Riesen einzusetzen.
Allerdings haben selbst die leistungsstärksten Modelle Schwierigkeiten, Softwarefehler zu beheben, die erfahrene Entwickler mühelos meistern.
Eine kürzlich durchgeführte Studie von Microsoft Research, geleitet von Microsofts Forschungs- und Entwicklungsabteilung, zeigt, dass Modelle wie Anthropics Claude 3.7 Sonnet und OpenAIs o3-mini viele Probleme im SWE-bench Lite Softwareentwicklungs-Benchmark nicht lösen konnten. Die Ergebnisse verdeutlichen, dass KI trotz ambitionierter Behauptungen von Unternehmen wie OpenAI in Bereichen wie der Programmierung immer noch hinter menschlicher Expertise zurückbleibt.
Die Forscher der Studie testeten neun Modelle als Grundlage für einen „Single-Prompt-basierten Agenten“, der mit Debugging-Tools, einschließlich eines Python-Debuggers, ausgestattet war. Der Agent wurde beauftragt, 300 kuratierte Software-Debugging-Herausforderungen aus SWE-bench Lite zu bewältigen.
Die Ergebnisse zeigten, dass selbst mit fortschrittlichen Modellen der Agent selten mehr als die Hälfte der Aufgaben erfolgreich löste. Claude 3.7 Sonnet führte mit einer Erfolgsquote von 48,4 %, gefolgt von OpenAIs o1 mit 30,2 % und o3-mini mit 22,1 %.
Ein Diagramm aus der Studie, das die Leistungssteigerung der Modelle durch Debugging-Tools zeigt. Bildnachweis: Microsoft Was erklärt die enttäuschenden Ergebnisse? Einige Modelle hatten Schwierigkeiten, verfügbare Debugging-Tools effektiv zu nutzen oder zu erkennen, welche Tools für spezifische Probleme geeignet waren. Das Hauptproblem war laut den Forschern ein Mangel an ausreichenden Trainingsdaten, insbesondere Daten, die „sequentielle Entscheidungsprozesse“ wie menschliche Debugging-Abläufe erfassen.
„Wir glauben, dass das Training oder die Feinabstimmung dieser Modelle ihre Debugging-Fähigkeiten verbessern kann“, schrieben die Forscher. „Dies erfordert jedoch spezialisierte Daten, wie Trajektoriendaten, die Agenten beim Interagieren mit einem Debugger erfassen, um Informationen zu sammeln, bevor sie Korrekturen vorschlagen.“
Nehmen Sie an TechCrunch Sessions teil: AI
Sichern Sie sich Ihren Platz bei unserer führenden Veranstaltung der KI-Branche mit Sprechern von OpenAI, Anthropic und Cohere. Für begrenzte Zeit kosten Tickets nur 292 $ für einen ganzen Tag mit Expertenvorträgen, Workshops und Networking-Möglichkeiten.
Präsentieren Sie sich bei TechCrunch Sessions: AI
Buchen Sie Ihren Platz bei TC Sessions: AI, um Ihre Arbeit über 1.200 Entscheidungsträgern zu präsentieren. Ausstellungsmöglichkeiten sind bis zum 9. Mai oder bis alle Tische ausgebucht sind verfügbar.
Die Ergebnisse sind nicht überraschend. Zahlreiche Studien haben gezeigt, dass KI-generierter Code oft Sicherheitslücken und Fehler aufweist, da Schwächen im Verständnis der Programmierlogik bestehen. Ein kürzlich durchgeführter Test von Devin, einem bekannten KI-Programmierwerkzeug, ergab, dass es nur drei von 20 Programmieraufgaben abschließen konnte.
Die Studie von Microsoft bietet eine der detailliertesten Untersuchungen dieser anhaltenden Herausforderung für KI-Modelle. Zwar wird sie das Interesse von Investoren an KI-gestützten Programmierwerkzeugen kaum bremsen, könnte aber Entwickler und ihre Führungskräfte dazu veranlassen, die starke Abhängigkeit von KI für Programmieraufgaben zu überdenken.
Bemerkenswert ist, dass mehrere Tech-Führer die Vorstellung zurückgewiesen haben, dass KI Programmierjobs eliminieren wird. Microsoft-Mitbegründer Bill Gates, Replit-CEO Amjad Masad, Okta-CEO Todd McKinnon und IBM-CEO Arvind Krishna haben alle ihr Vertrauen geäußert, dass das Programmieren als Beruf bestehen bleiben wird.
Verwandter Artikel
Ollie setzt auf Datenschutz, um das Rennen um den KI-Assistenten zu gewinnen
Um wirklich hilfreich zu sein, muss ein KI-Assistent seinen Nutzer genau verstehen. Ollie, ein für den Alltag konzipierter persönlicher Assistent, basiert auf der Prämisse, dass dies nicht mit der Wei
So wird die „AI LIVE: London“ KI und industrielle Automatisierung beleuchten
Auf dem Gipfel werden Führungskräfte der obersten Ebene aus aller Welt zusammenkommen, um dringende Herausforderungen in globalen Branchen zu erörtern – von KI-getriebenen Umbrüchen bis hin zu wirtsch
Anthropic tritt in den Markt für KI-gestützte Rechtstechnologie ein, während der Wettbewerb zunimmt
Anthropic hat am Dienstag eine Reihe neuer Chatbot-Funktionen vorgestellt, die darauf abzielen, Rechtsanwaltskanzleien automatisierte Unterstützung zu bieten. Diese Verbesserungen erweitern die bereits zu Jahresbeginn eingeführte, mandantenspezifisch
Empfehlungen zu verwandten Spezialthemen
Bildung und Lernen
AI Quiz Builder Plattformen für Lehrer, Nachhilfelehrer und kohortenbasierte Lernprogramme
2026 Neueste und beste KI-Quiz-Erstellungstools für Lehrer, Nachhilfelehrer und kohortenbasierte Lernprogramme! XIX.AI hat eine hochbewertete Liste leistungsstarker, bahnbrechender Tools zusammengestellt, die realen Tests unterzogen wurden, um genaue Rankings zu liefern. Diese unbedingt auszuprobierenden Plattformen helfen dabei, die Schreibeffizienz zu steigern, die Inhaltserstellung zu optimieren und das Quiz-Design in allen Lernszenarien zu vereinfachen. Entdecken Sie jetzt Ihr perfektes Tool, um Ihren KI-Vorteil im Unterricht voll auszuschöpfen!
13 Tools
xix.ai
Code
KI-Tools zur Überprüfung von Pull-Requests für GitHub-Teams, die sich mit Refactorings, Fehlern und Sicherheitslücken befassen
Die besten neuen KI-Tools zur Pull-Request-Prüfung für GitHub-Teams im Jahr 2026 finden Sie hier auf XIX.AI! Diese sorgfältig zusammengestellte Liste mit den besten Bewertungen präsentiert leistungsstarke, bahnbrechende Lösungen, die Refactoring, Fehlerbehebung und die Erkennung von Sicherheitslücken in allen Team-Workflows optimieren. Profitieren Sie von einem Vergleich zwischen kostenlosen und kostenpflichtigen Tools sowie von Praxistests und detaillierten Rankings, die Ihnen helfen, das perfekte Tool zu finden, mit dem Sie Ihre Produktivität deutlich steigern können. Entdecken Sie die Tools jetzt und sichern Sie sich Ihren KI-Vorteil!
12 Tools
xix.ai
Text-zu-Sprache
Die besten KI-Tools zur Text-zu-Sprache-Umwandlung für natürliche Sprachausgabe
Die besten und am besten bewerteten KI-Text-to-Speech-Tools für natürliche Sprachausgabe des Jahres 2026 finden Sie hier auf XIX.AI! Diese sorgfältig zusammengestellte Liste enthält leistungsstarke, bahnbrechende Optionen, die für jeden Anwendungsfall kristallklare Stimmen liefern – gestützt auf Tests in der Praxis und wöchentlich aktualisierte Rankings. Holen Sie sich einen Vergleich zwischen kostenlosen und kostenpflichtigen Angeboten, um die Lösung zu finden, die Sie unbedingt ausprobieren sollten und die Ihre Produktivität sofort steigert. Entdecken Sie jetzt die Möglichkeiten und sichern Sie sich Ihren KI-Vorteil!
11 Tools
xix.ai
Comic-Erstellung
Manga-KI-Hintergrundgeneratoren für Serienkapitel, Titelbilder und Werbegrafiken
2026: Die besten Manga-KI-Hintergrundgeneratoren im Ranking – die Top-Bewertungen! Diese sorgfältig zusammengestellte Sammlung präsentiert leistungsstarke, bahnbrechende Tools, die sich perfekt für die Erstellung hochwertiger Kapitelhintergründe, Buchcover und Werbegrafiken eignen. Jede Option wurde strengen Praxistests unterzogen, um ihre Zuverlässigkeit sicherzustellen. Erhalten Sie einen Vergleich zwischen kostenlosen und kostenpflichtigen Angeboten sowie detaillierte Einblicke. Entdecken Sie jetzt das perfekte Tool für sich und nutzen Sie den KI-Vorteil bei der Manga-Erstellung.
6 Tools
xix.ai
Bildbearbeitung
KI-Tools zum Entfernen von Objekten: Porträts, Reise- und Produktfotos aufräumen
Die besten und am besten bewerteten KI-Tools zum Entfernen von Objekten aus Porträts, Reisefotos und Produktfotos im Jahr 2026! XIX.AI stellt eine leistungsstarke, bahnbrechende Auswahl zusammen, die regelmäßig mit wöchentlichen Rankings aktualisiert wird. Diese Tools wurden in der Praxis getestet und helfen Ihnen dabei, unerwünschte Elemente schnell zu entfernen, die Qualität Ihrer Inhalte zu steigern und viel Zeit zu sparen, ohne dabei Abstriche bei den Ergebnissen zu machen. Ein Muss für alle, die ihr kreatives Potenzial mit KI voll ausschöpfen möchten. Jetzt entdecken!
10 Tools
xix.ai
Text-zu-Sprache
Die besten KI-Tools zur Text-zu-Sprache-Umwandlung für Online-Kurse
Die besten und am besten bewerteten KI-Text-to-Speech-Tools für Online-Kurse des Jahres 2026 wurden von XIX.AI auf der Grundlage strenger Praxistests und wöchentlich aktualisierter Rankings zusammengestellt. Diese leistungsstarken Tools helfen Kursanbietern dabei, mühelos kristallklare Audioinhalte zu erstellen, die Effizienz beim Verfassen von Texten zu steigern und die Kursproduktion zu optimieren. Sehen Sie sich den Vergleich zwischen kostenlosen und kostenpflichtigen Angeboten an, um das für Sie passende Tool zu finden. Entdecken Sie jetzt, wie Sie sich im Bereich der Online-Bildung einen KI-Vorteil verschaffen können.
10 Tools
xix.ai
Kommentare (6)
![ThomasScott]()
微软这个研究结果太真实了😂 前几天用Copilot改bug，它居然把正确代码改得更错了…看来AI写代码还是得人工把关，至少现阶段别太依赖它们debug。
![HenryWalker]()
It's wild that AI is pumping out 25% of Google's code, but this Microsoft study shows it's not perfect at debugging. Kinda makes you wonder if we're trusting these models a bit too much too soon. 😅 Anyone else worried about buggy AI code sneaking into big projects?
![BrianRoberts]()
It's wild that AI is cranking out 25% of Google's code, but the debugging struggles are real. Makes me wonder if we're leaning too hard on AI without fixing its blind spots first. 🧑💻
![KevinDavis]()
It's wild that AI is pumping out 25% of Google's code, but the debugging limitations in this study make me wonder if we're leaning too hard on these models without enough human oversight. 🤔
![PeterThomas]()
Interesting read! AI generating 25% of Google's code is wild, but I'm not surprised it struggles with debugging. Machines can churn out code fast, but catching tricky bugs? That’s still a human’s game. 🧑💻
![JuanWhite]()
AI coding sounds cool, but if it can't debug properly, what's the point? 🤔 Feels like we're hyping up half-baked tools while devs still clean up the mess.
KI-Modelle von OpenAI, Anthropic und anderen führenden KI-Laboren werden zunehmend für Programmieraufgaben eingesetzt. Google-CEO Sundar Pichai bemerkte im Oktober, dass KI 25 % des neuen Codes im Unternehmen generiert, während Meta-CEO Mark Zuckerberg plant, KI-Programmierwerkzeuge weitreichend im Social-Media-Riesen einzusetzen.
Allerdings haben selbst die leistungsstärksten Modelle Schwierigkeiten, Softwarefehler zu beheben, die erfahrene Entwickler mühelos meistern.
Eine kürzlich durchgeführte Studie von Microsoft Research, geleitet von Microsofts Forschungs- und Entwicklungsabteilung, zeigt, dass Modelle wie Anthropics Claude 3.7 Sonnet und OpenAIs o3-mini viele Probleme im SWE-bench Lite Softwareentwicklungs-Benchmark nicht lösen konnten. Die Ergebnisse verdeutlichen, dass KI trotz ambitionierter Behauptungen von Unternehmen wie OpenAI in Bereichen wie der Programmierung immer noch hinter menschlicher Expertise zurückbleibt.
Die Forscher der Studie testeten neun Modelle als Grundlage für einen „Single-Prompt-basierten Agenten“, der mit Debugging-Tools, einschließlich eines Python-Debuggers, ausgestattet war. Der Agent wurde beauftragt, 300 kuratierte Software-Debugging-Herausforderungen aus SWE-bench Lite zu bewältigen.
Die Ergebnisse zeigten, dass selbst mit fortschrittlichen Modellen der Agent selten mehr als die Hälfte der Aufgaben erfolgreich löste. Claude 3.7 Sonnet führte mit einer Erfolgsquote von 48,4 %, gefolgt von OpenAIs o1 mit 30,2 % und o3-mini mit 22,1 %.
Was erklärt die enttäuschenden Ergebnisse? Einige Modelle hatten Schwierigkeiten, verfügbare Debugging-Tools effektiv zu nutzen oder zu erkennen, welche Tools für spezifische Probleme geeignet waren. Das Hauptproblem war laut den Forschern ein Mangel an ausreichenden Trainingsdaten, insbesondere Daten, die „sequentielle Entscheidungsprozesse“ wie menschliche Debugging-Abläufe erfassen.
„Wir glauben, dass das Training oder die Feinabstimmung dieser Modelle ihre Debugging-Fähigkeiten verbessern kann“, schrieben die Forscher. „Dies erfordert jedoch spezialisierte Daten, wie Trajektoriendaten, die Agenten beim Interagieren mit einem Debugger erfassen, um Informationen zu sammeln, bevor sie Korrekturen vorschlagen.“
Nehmen Sie an TechCrunch Sessions teil: AI
Sichern Sie sich Ihren Platz bei unserer führenden Veranstaltung der KI-Branche mit Sprechern von OpenAI, Anthropic und Cohere. Für begrenzte Zeit kosten Tickets nur 292 $ für einen ganzen Tag mit Expertenvorträgen, Workshops und Networking-Möglichkeiten.
Präsentieren Sie sich bei TechCrunch Sessions: AI
Buchen Sie Ihren Platz bei TC Sessions: AI, um Ihre Arbeit über 1.200 Entscheidungsträgern zu präsentieren. Ausstellungsmöglichkeiten sind bis zum 9. Mai oder bis alle Tische ausgebucht sind verfügbar.
Die Ergebnisse sind nicht überraschend. Zahlreiche Studien haben gezeigt, dass KI-generierter Code oft Sicherheitslücken und Fehler aufweist, da Schwächen im Verständnis der Programmierlogik bestehen. Ein kürzlich durchgeführter Test von Devin, einem bekannten KI-Programmierwerkzeug, ergab, dass es nur drei von 20 Programmieraufgaben abschließen konnte.
Die Studie von Microsoft bietet eine der detailliertesten Untersuchungen dieser anhaltenden Herausforderung für KI-Modelle. Zwar wird sie das Interesse von Investoren an KI-gestützten Programmierwerkzeugen kaum bremsen, könnte aber Entwickler und ihre Führungskräfte dazu veranlassen, die starke Abhängigkeit von KI für Programmieraufgaben zu überdenken.
Bemerkenswert ist, dass mehrere Tech-Führer die Vorstellung zurückgewiesen haben, dass KI Programmierjobs eliminieren wird. Microsoft-Mitbegründer Bill Gates, Replit-CEO Amjad Masad, Okta-CEO Todd McKinnon und IBM-CEO Arvind Krishna haben alle ihr Vertrauen geäußert, dass das Programmieren als Beruf bestehen bleiben wird.
Ollie setzt auf Datenschutz, um das Rennen um den KI-Assistenten zu gewinnen
Um wirklich hilfreich zu sein, muss ein KI-Assistent seinen Nutzer genau verstehen. Ollie, ein für den Alltag konzipierter persönlicher Assistent, basiert auf der Prämisse, dass dies nicht mit der Wei
So wird die „AI LIVE: London“ KI und industrielle Automatisierung beleuchten
Auf dem Gipfel werden Führungskräfte der obersten Ebene aus aller Welt zusammenkommen, um dringende Herausforderungen in globalen Branchen zu erörtern – von KI-getriebenen Umbrüchen bis hin zu wirtsch
Anthropic tritt in den Markt für KI-gestützte Rechtstechnologie ein, während der Wettbewerb zunimmt
Anthropic hat am Dienstag eine Reihe neuer Chatbot-Funktionen vorgestellt, die darauf abzielen, Rechtsanwaltskanzleien automatisierte Unterstützung zu bieten. Diese Verbesserungen erweitern die bereits zu Jahresbeginn eingeführte, mandantenspezifisch
2026 Neueste und beste KI-Quiz-Erstellungstools für Lehrer, Nachhilfelehrer und kohortenbasierte Lernprogramme! XIX.AI hat eine hochbewertete Liste leistungsstarker, bahnbrechender Tools zusammengestellt, die realen Tests unterzogen wurden, um genaue Rankings zu liefern. Diese unbedingt auszuprobierenden Plattformen helfen dabei, die Schreibeffizienz zu steigern, die Inhaltserstellung zu optimieren und das Quiz-Design in allen Lernszenarien zu vereinfachen. Entdecken Sie jetzt Ihr perfektes Tool, um Ihren KI-Vorteil im Unterricht voll auszuschöpfen!
13 Tools
xix.ai
Die besten neuen KI-Tools zur Pull-Request-Prüfung für GitHub-Teams im Jahr 2026 finden Sie hier auf XIX.AI! Diese sorgfältig zusammengestellte Liste mit den besten Bewertungen präsentiert leistungsstarke, bahnbrechende Lösungen, die Refactoring, Fehlerbehebung und die Erkennung von Sicherheitslücken in allen Team-Workflows optimieren. Profitieren Sie von einem Vergleich zwischen kostenlosen und kostenpflichtigen Tools sowie von Praxistests und detaillierten Rankings, die Ihnen helfen, das perfekte Tool zu finden, mit dem Sie Ihre Produktivität deutlich steigern können. Entdecken Sie die Tools jetzt und sichern Sie sich Ihren KI-Vorteil!
12 Tools
xix.ai
Die besten und am besten bewerteten KI-Text-to-Speech-Tools für natürliche Sprachausgabe des Jahres 2026 finden Sie hier auf XIX.AI! Diese sorgfältig zusammengestellte Liste enthält leistungsstarke, bahnbrechende Optionen, die für jeden Anwendungsfall kristallklare Stimmen liefern – gestützt auf Tests in der Praxis und wöchentlich aktualisierte Rankings. Holen Sie sich einen Vergleich zwischen kostenlosen und kostenpflichtigen Angeboten, um die Lösung zu finden, die Sie unbedingt ausprobieren sollten und die Ihre Produktivität sofort steigert. Entdecken Sie jetzt die Möglichkeiten und sichern Sie sich Ihren KI-Vorteil!
11 Tools
xix.ai
2026: Die besten Manga-KI-Hintergrundgeneratoren im Ranking – die Top-Bewertungen! Diese sorgfältig zusammengestellte Sammlung präsentiert leistungsstarke, bahnbrechende Tools, die sich perfekt für die Erstellung hochwertiger Kapitelhintergründe, Buchcover und Werbegrafiken eignen. Jede Option wurde strengen Praxistests unterzogen, um ihre Zuverlässigkeit sicherzustellen. Erhalten Sie einen Vergleich zwischen kostenlosen und kostenpflichtigen Angeboten sowie detaillierte Einblicke. Entdecken Sie jetzt das perfekte Tool für sich und nutzen Sie den KI-Vorteil bei der Manga-Erstellung.
6 Tools
xix.ai
Die besten und am besten bewerteten KI-Tools zum Entfernen von Objekten aus Porträts, Reisefotos und Produktfotos im Jahr 2026! XIX.AI stellt eine leistungsstarke, bahnbrechende Auswahl zusammen, die regelmäßig mit wöchentlichen Rankings aktualisiert wird. Diese Tools wurden in der Praxis getestet und helfen Ihnen dabei, unerwünschte Elemente schnell zu entfernen, die Qualität Ihrer Inhalte zu steigern und viel Zeit zu sparen, ohne dabei Abstriche bei den Ergebnissen zu machen. Ein Muss für alle, die ihr kreatives Potenzial mit KI voll ausschöpfen möchten. Jetzt entdecken!
10 Tools
xix.ai
Die besten und am besten bewerteten KI-Text-to-Speech-Tools für Online-Kurse des Jahres 2026 wurden von XIX.AI auf der Grundlage strenger Praxistests und wöchentlich aktualisierter Rankings zusammengestellt. Diese leistungsstarken Tools helfen Kursanbietern dabei, mühelos kristallklare Audioinhalte zu erstellen, die Effizienz beim Verfassen von Texten zu steigern und die Kursproduktion zu optimieren. Sehen Sie sich den Vergleich zwischen kostenlosen und kostenpflichtigen Angeboten an, um das für Sie passende Tool zu finden. Entdecken Sie jetzt, wie Sie sich im Bereich der Online-Bildung einen KI-Vorteil verschaffen können.
10 Tools
xix.ai
微软这个研究结果太真实了😂 前几天用Copilot改bug，它居然把正确代码改得更错了…看来AI写代码还是得人工把关，至少现阶段别太依赖它们debug。
It's wild that AI is pumping out 25% of Google's code, but this Microsoft study shows it's not perfect at debugging. Kinda makes you wonder if we're trusting these models a bit too much too soon. 😅 Anyone else worried about buggy AI code sneaking into big projects?
It's wild that AI is cranking out 25% of Google's code, but the debugging struggles are real. Makes me wonder if we're leaning too hard on AI without fixing its blind spots first. 🧑💻
It's wild that AI is pumping out 25% of Google's code, but the debugging limitations in this study make me wonder if we're leaning too hard on these models without enough human oversight. 🤔
Interesting read! AI generating 25% of Google's code is wild, but I'm not surprised it struggles with debugging. Machines can churn out code fast, but catching tricky bugs? That’s still a human’s game. 🧑💻
AI coding sounds cool, but if it can't debug properly, what's the point? 🤔 Feels like we're hyping up half-baked tools while devs still clean up the mess.
