LarEstudo da Microsoft Revela Limitações de Modelos de IA na Depuração de Software
Modelos de IA da OpenAI, Anthropic e outros laboratórios de IA líderes estão sendo cada vez mais utilizados para tarefas de codificação. O CEO da Google, Sundar Pichai, observou em outubro que a IA gera 25% do novo código na empresa, enquanto o CEO da Meta, Mark Zuckerberg, pretende implementar amplamente ferramentas de codificação por IA na gigante das redes sociais.
No entanto, mesmo os modelos de melhor desempenho têm dificuldades para corrigir bugs de software que desenvolvedores experientes lidam com facilidade.
Um recente estudo da Microsoft Research, conduzido pela divisão de P&D da Microsoft, mostra que modelos como o Claude 3.7 Sonnet da Anthropic e o o3-mini da OpenAI têm dificuldades para resolver muitos problemas no benchmark de desenvolvimento de software SWE-bench Lite. As descobertas destacam que, apesar das afirmações ambiciosas de empresas como a OpenAI, a IA ainda fica aquém da expertise humana em áreas como codificação.
Os pesquisadores do estudo testaram nove modelos como base para um “agente baseado em prompt único” equipado com ferramentas de depuração, incluindo um depurador Python. O agente foi encarregado de abordar 300 desafios de depuração de software selecionados do SWE-bench Lite.
Os resultados mostraram que, mesmo com modelos avançados, o agente raramente resolveu mais da metade das tarefas com sucesso. O Claude 3.7 Sonnet liderou com uma taxa de sucesso de 48,4%, seguido pelo o1 da OpenAI com 30,2% e o o3-mini com 22,1%.
Um gráfico do estudo mostrando o aumento de desempenho que os modelos obtiveram com ferramentas de depuração. Créditos da imagem: Microsoft O que explica os resultados decepcionantes? Alguns modelos tiveram dificuldades para usar efetivamente as ferramentas de depuração disponíveis ou identificar quais ferramentas eram adequadas para problemas específicos. O principal problema, segundo os pesquisadores, foi a falta de dados de treinamento suficientes, particularmente dados que capturam “processos de tomada de decisão sequencial” como rastros de depuração humana.
“Acreditamos que treinar ou ajustar esses modelos pode melhorar suas capacidades de depuração”, escreveram os pesquisadores. “No entanto, isso requer dados especializados, como dados de trajetória que capturam agentes interagindo com um depurador para coletar informações antes de propor correções.”
Participe das Sessões TechCrunch: IA
Reserve seu lugar em nosso principal evento da indústria de IA, com palestrantes da OpenAI, Anthropic e Cohere. Por tempo limitado, os ingressos custam apenas $292 para um dia inteiro de palestras de especialistas, workshops e oportunidades de networking.
Exiba no TechCrunch Sessions: IA
Reserve seu espaço no TC Sessions: IA para apresentar seu trabalho a mais de 1.200 tomadores de decisão. Oportunidades de exposição estão disponíveis até 9 de maio ou até que as mesas estejam totalmente reservadas.
As descobertas não são surpreendentes. Numerosos estudos mostraram que o código gerado por IA frequentemente introduz falhas de segurança e erros devido a fraquezas na compreensão da lógica de programação. Um teste recente do Devin, uma conhecida ferramenta de codificação por IA, revelou que ela só conseguiu completar três de 20 tarefas de programação.
O estudo da Microsoft oferece uma das análises mais aprofundadas desse desafio contínuo para modelos de IA. Embora seja improvável que isso reduza o interesse dos investidores em ferramentas de codificação alimentadas por IA, pode levar desenvolvedores e seus líderes a reconsiderarem a dependência excessiva em IA para tarefas de codificação.
Notavelmente, vários líderes de tecnologia refutaram a ideia de que a IA eliminará empregos de codificação. O cofundador da Microsoft, Bill Gates, o CEO da Replit, Amjad Masad, o CEO da Okta, Todd McKinnon, e o CEO da IBM, Arvind Krishna, expressaram confiança de que a programação como profissão perdurará.
Artigo relacionado
Ollie aposta na privacidade para vencer a corrida dos assistentes de IA
Para ser realmente útil, um assistente de IA precisa compreender profundamente seu usuário. O Ollie, um assistente pessoal projetado para o dia a dia, opera com base na premissa de que isso não exige
Como o AI LIVE: Londres explorará a IA e a automação industrial
A cúpula reunirá executivos de alto escalão de todo o mundo para discutir os desafios urgentes enfrentados pelos setores globais, que vão desde as transformações impulsionadas pela IA até a volatilida
A Anthropic entra no mercado de tecnologia jurídica de IA à medida que a competição se intensifica
A Anthropic apresentou na terça-feira um conjunto de novas funcionalidades para chatbots, destinadas a oferecer suporte automatizado a escritórios de advocacia. Essas melhorias expandem o Claude for Legal, a plataforma específica para firmas lançada
Recomendações de tópicos especiais relacionados
Educação e Aprendizagem
Plataformas de Construção de Questionários de IA para Professores, Tutores e Programas de Aprendizagem Baseados em Coortes
2026 Últimas Melhores Plataformas de Construção de Questionários com IA para Professores, Tutores e Programas de Aprendizagem Baseados em Coortes! A XIX.AI compilou uma lista de ferramentas poderosas e transformadoras, testadas em cenários reais, para garantir classificações precisas. Essas plataformas imperdíveis ajudam a aumentar a eficiência na escrita, otimizar a criação de conteúdo e simplificar o design de questionários em todos os cenários de aprendizado. Explore agora para descobrir a ferramenta perfeita para desbloquear sua vantagem com IA no ensino!
13 ferramentas
xix.ai
código
Ferramentas de revisão de pull requests com IA para equipes do GitHub que lidam com refatorações, bugs e falhas de segurança
As melhores e mais recentes ferramentas de 2026 para revisão de pull requests com IA para equipes do GitHub estão aqui no XIX.AI! Esta lista selecionada e com as melhores avaliações apresenta soluções poderosas e revolucionárias que otimizam a refatoração, a correção de bugs e a detecção de falhas de segurança em todos os fluxos de trabalho das equipes. Aproveite uma comparação entre versões gratuitas e pagas, além de testes reais e classificações detalhadas para ajudá-lo a encontrar a ferramenta perfeita que aumenta significativamente a produtividade. Explore agora para descobrir sua vantagem com IA!
12 ferramentas
xix.ai
Conversão de texto para fala
As melhores ferramentas de conversão de texto em fala com IA para narrações com voz natural
As melhores e mais bem avaliadas ferramentas de conversão de texto em fala com IA de 2026 para dublagens naturais estão aqui no XIX.AI! Esta lista selecionada apresenta opções poderosas e revolucionárias que oferecem vozes cristalinas para todos os tipos de uso, respaldadas por testes reais e rankings atualizados semanalmente. Veja uma comparação entre versões gratuitas e pagas para encontrar a solução imperdível que aumentará sua produtividade instantaneamente. Explore agora para aproveitar toda a vantagem da IA!
11 ferramentas
xix.ai
Criação de quadrinhos
Geradores de plano de fundo com IA para mangás: capítulos em série, capas e ilustrações promocionais
2026: Os melhores geradores de fundos para mangá com IA – Classificação dos mais bem avaliados! Esta coleção selecionada apresenta ferramentas poderosas e revolucionárias, perfeitas para criar fundos de capítulos, capas de livros e artes promocionais de alta qualidade. Cada opção passou por testes rigorosos em condições reais para garantir sua confiabilidade. Veja uma comparação entre versões gratuitas e pagas, além de informações detalhadas. Explore agora para descobrir a ferramenta perfeita para você e aproveitar ao máximo as vantagens da IA na criação de mangás.
6 ferramentas
xix.ai
Edição de imagem
Editores de remoção de objetos com IA: limpe retratos, fotos de viagem e fotos de produtos
Os melhores e mais bem avaliados editores de remoção de objetos com IA de 2026 para retratos, fotos de viagem e fotos de produtos! O XIX.AI seleciona uma coleção poderosa e revolucionária, atualizada regularmente com rankings semanais. Essas ferramentas oferecem testes práticos para ajudar você a remover rapidamente elementos indesejados, melhorar a qualidade do conteúdo e economizar muito tempo sem comprometer os resultados. Imperdível para quem quer explorar todo o potencial da IA na criação. Explore agora!
10 ferramentas
xix.ai
Conversão de texto para fala
As melhores ferramentas de conversão de texto em fala com IA para cursos on-line
As melhores e mais bem avaliadas ferramentas de conversão de texto em fala com IA para cursos on-line de 2026 foram selecionadas pela XIX.AI com base em testes rigorosos no mundo real e em rankings atualizados semanalmente. Essas ferramentas poderosas ajudam os criadores a produzir conteúdo de áudio com som cristalino sem esforço, aumentando a eficiência na redação e agilizando a produção de cursos. Confira a comparação entre as versões gratuitas e pagas para encontrar a opção ideal para você. Explore agora para aproveitar a vantagem da IA na educação online.
10 ferramentas
xix.ai
Comentários (6)
![ThomasScott]()
微软这个研究结果太真实了😂 前几天用Copilot改bug，它居然把正确代码改得更错了…看来AI写代码还是得人工把关，至少现阶段别太依赖它们debug。
![HenryWalker]()
It's wild that AI is pumping out 25% of Google's code, but this Microsoft study shows it's not perfect at debugging. Kinda makes you wonder if we're trusting these models a bit too much too soon. 😅 Anyone else worried about buggy AI code sneaking into big projects?
![BrianRoberts]()
It's wild that AI is cranking out 25% of Google's code, but the debugging struggles are real. Makes me wonder if we're leaning too hard on AI without fixing its blind spots first. 🧑💻
![KevinDavis]()
It's wild that AI is pumping out 25% of Google's code, but the debugging limitations in this study make me wonder if we're leaning too hard on these models without enough human oversight. 🤔
![PeterThomas]()
Interesting read! AI generating 25% of Google's code is wild, but I'm not surprised it struggles with debugging. Machines can churn out code fast, but catching tricky bugs? That’s still a human’s game. 🧑💻
![JuanWhite]()
AI coding sounds cool, but if it can't debug properly, what's the point? 🤔 Feels like we're hyping up half-baked tools while devs still clean up the mess.
Modelos de IA da OpenAI, Anthropic e outros laboratórios de IA líderes estão sendo cada vez mais utilizados para tarefas de codificação. O CEO da Google, Sundar Pichai, observou em outubro que a IA gera 25% do novo código na empresa, enquanto o CEO da Meta, Mark Zuckerberg, pretende implementar amplamente ferramentas de codificação por IA na gigante das redes sociais.
No entanto, mesmo os modelos de melhor desempenho têm dificuldades para corrigir bugs de software que desenvolvedores experientes lidam com facilidade.
Um recente estudo da Microsoft Research, conduzido pela divisão de P&D da Microsoft, mostra que modelos como o Claude 3.7 Sonnet da Anthropic e o o3-mini da OpenAI têm dificuldades para resolver muitos problemas no benchmark de desenvolvimento de software SWE-bench Lite. As descobertas destacam que, apesar das afirmações ambiciosas de empresas como a OpenAI, a IA ainda fica aquém da expertise humana em áreas como codificação.
Os pesquisadores do estudo testaram nove modelos como base para um “agente baseado em prompt único” equipado com ferramentas de depuração, incluindo um depurador Python. O agente foi encarregado de abordar 300 desafios de depuração de software selecionados do SWE-bench Lite.
Os resultados mostraram que, mesmo com modelos avançados, o agente raramente resolveu mais da metade das tarefas com sucesso. O Claude 3.7 Sonnet liderou com uma taxa de sucesso de 48,4%, seguido pelo o1 da OpenAI com 30,2% e o o3-mini com 22,1%.
O que explica os resultados decepcionantes? Alguns modelos tiveram dificuldades para usar efetivamente as ferramentas de depuração disponíveis ou identificar quais ferramentas eram adequadas para problemas específicos. O principal problema, segundo os pesquisadores, foi a falta de dados de treinamento suficientes, particularmente dados que capturam “processos de tomada de decisão sequencial” como rastros de depuração humana.
“Acreditamos que treinar ou ajustar esses modelos pode melhorar suas capacidades de depuração”, escreveram os pesquisadores. “No entanto, isso requer dados especializados, como dados de trajetória que capturam agentes interagindo com um depurador para coletar informações antes de propor correções.”
Participe das Sessões TechCrunch: IA
Reserve seu lugar em nosso principal evento da indústria de IA, com palestrantes da OpenAI, Anthropic e Cohere. Por tempo limitado, os ingressos custam apenas $292 para um dia inteiro de palestras de especialistas, workshops e oportunidades de networking.
Exiba no TechCrunch Sessions: IA
Reserve seu espaço no TC Sessions: IA para apresentar seu trabalho a mais de 1.200 tomadores de decisão. Oportunidades de exposição estão disponíveis até 9 de maio ou até que as mesas estejam totalmente reservadas.
As descobertas não são surpreendentes. Numerosos estudos mostraram que o código gerado por IA frequentemente introduz falhas de segurança e erros devido a fraquezas na compreensão da lógica de programação. Um teste recente do Devin, uma conhecida ferramenta de codificação por IA, revelou que ela só conseguiu completar três de 20 tarefas de programação.
O estudo da Microsoft oferece uma das análises mais aprofundadas desse desafio contínuo para modelos de IA. Embora seja improvável que isso reduza o interesse dos investidores em ferramentas de codificação alimentadas por IA, pode levar desenvolvedores e seus líderes a reconsiderarem a dependência excessiva em IA para tarefas de codificação.
Notavelmente, vários líderes de tecnologia refutaram a ideia de que a IA eliminará empregos de codificação. O cofundador da Microsoft, Bill Gates, o CEO da Replit, Amjad Masad, o CEO da Okta, Todd McKinnon, e o CEO da IBM, Arvind Krishna, expressaram confiança de que a programação como profissão perdurará.
Ollie aposta na privacidade para vencer a corrida dos assistentes de IA
Para ser realmente útil, um assistente de IA precisa compreender profundamente seu usuário. O Ollie, um assistente pessoal projetado para o dia a dia, opera com base na premissa de que isso não exige
Como o AI LIVE: Londres explorará a IA e a automação industrial
A cúpula reunirá executivos de alto escalão de todo o mundo para discutir os desafios urgentes enfrentados pelos setores globais, que vão desde as transformações impulsionadas pela IA até a volatilida
A Anthropic entra no mercado de tecnologia jurídica de IA à medida que a competição se intensifica
A Anthropic apresentou na terça-feira um conjunto de novas funcionalidades para chatbots, destinadas a oferecer suporte automatizado a escritórios de advocacia. Essas melhorias expandem o Claude for Legal, a plataforma específica para firmas lançada
2026 Últimas Melhores Plataformas de Construção de Questionários com IA para Professores, Tutores e Programas de Aprendizagem Baseados em Coortes! A XIX.AI compilou uma lista de ferramentas poderosas e transformadoras, testadas em cenários reais, para garantir classificações precisas. Essas plataformas imperdíveis ajudam a aumentar a eficiência na escrita, otimizar a criação de conteúdo e simplificar o design de questionários em todos os cenários de aprendizado. Explore agora para descobrir a ferramenta perfeita para desbloquear sua vantagem com IA no ensino!
13 ferramentas
xix.ai
As melhores e mais recentes ferramentas de 2026 para revisão de pull requests com IA para equipes do GitHub estão aqui no XIX.AI! Esta lista selecionada e com as melhores avaliações apresenta soluções poderosas e revolucionárias que otimizam a refatoração, a correção de bugs e a detecção de falhas de segurança em todos os fluxos de trabalho das equipes. Aproveite uma comparação entre versões gratuitas e pagas, além de testes reais e classificações detalhadas para ajudá-lo a encontrar a ferramenta perfeita que aumenta significativamente a produtividade. Explore agora para descobrir sua vantagem com IA!
12 ferramentas
xix.ai
As melhores e mais bem avaliadas ferramentas de conversão de texto em fala com IA de 2026 para dublagens naturais estão aqui no XIX.AI! Esta lista selecionada apresenta opções poderosas e revolucionárias que oferecem vozes cristalinas para todos os tipos de uso, respaldadas por testes reais e rankings atualizados semanalmente. Veja uma comparação entre versões gratuitas e pagas para encontrar a solução imperdível que aumentará sua produtividade instantaneamente. Explore agora para aproveitar toda a vantagem da IA!
11 ferramentas
xix.ai
2026: Os melhores geradores de fundos para mangá com IA – Classificação dos mais bem avaliados! Esta coleção selecionada apresenta ferramentas poderosas e revolucionárias, perfeitas para criar fundos de capítulos, capas de livros e artes promocionais de alta qualidade. Cada opção passou por testes rigorosos em condições reais para garantir sua confiabilidade. Veja uma comparação entre versões gratuitas e pagas, além de informações detalhadas. Explore agora para descobrir a ferramenta perfeita para você e aproveitar ao máximo as vantagens da IA na criação de mangás.
6 ferramentas
xix.ai
Os melhores e mais bem avaliados editores de remoção de objetos com IA de 2026 para retratos, fotos de viagem e fotos de produtos! O XIX.AI seleciona uma coleção poderosa e revolucionária, atualizada regularmente com rankings semanais. Essas ferramentas oferecem testes práticos para ajudar você a remover rapidamente elementos indesejados, melhorar a qualidade do conteúdo e economizar muito tempo sem comprometer os resultados. Imperdível para quem quer explorar todo o potencial da IA na criação. Explore agora!
10 ferramentas
xix.ai
As melhores e mais bem avaliadas ferramentas de conversão de texto em fala com IA para cursos on-line de 2026 foram selecionadas pela XIX.AI com base em testes rigorosos no mundo real e em rankings atualizados semanalmente. Essas ferramentas poderosas ajudam os criadores a produzir conteúdo de áudio com som cristalino sem esforço, aumentando a eficiência na redação e agilizando a produção de cursos. Confira a comparação entre as versões gratuitas e pagas para encontrar a opção ideal para você. Explore agora para aproveitar a vantagem da IA na educação online.
10 ferramentas
xix.ai
微软这个研究结果太真实了😂 前几天用Copilot改bug，它居然把正确代码改得更错了…看来AI写代码还是得人工把关，至少现阶段别太依赖它们debug。
It's wild that AI is pumping out 25% of Google's code, but this Microsoft study shows it's not perfect at debugging. Kinda makes you wonder if we're trusting these models a bit too much too soon. 😅 Anyone else worried about buggy AI code sneaking into big projects?
It's wild that AI is cranking out 25% of Google's code, but the debugging struggles are real. Makes me wonder if we're leaning too hard on AI without fixing its blind spots first. 🧑💻
It's wild that AI is pumping out 25% of Google's code, but the debugging limitations in this study make me wonder if we're leaning too hard on these models without enough human oversight. 🤔
Interesting read! AI generating 25% of Google's code is wild, but I'm not surprised it struggles with debugging. Machines can churn out code fast, but catching tricky bugs? That’s still a human’s game. 🧑💻
AI coding sounds cool, but if it can't debug properly, what's the point? 🤔 Feels like we're hyping up half-baked tools while devs still clean up the mess.
