Estudo revela que o desempenho do código de IA é superestimado em testes reais

Uma pesquisa do instituto METR indica que o benchmark SWE-bench Verified, amplamente utilizado para avaliar as capacidades de programação da IA, pode superestimar significativamente o desempenho dos agentes de IA no desenvolvimento de software no mundo real. O estudo constatou que aproximadamente metade das soluções de código geradas por IA marcadas como “aprovadas” pelo benchmark provavelmente seriam rejeitadas pelos responsáveis reais pelos projetos durante a revisão de código, destacando uma lacuna substancial entre os resultados da avaliação automatizada e a qualidade do código no mundo real.

O SWE-bench Verified é há muito considerado um padrão fundamental para avaliar a engenharia de software assistida por IA, testando se os modelos podem resolver tarefas de programação reais em projetos de código aberto e verificando se as alterações no código são aprovadas no conjunto de testes automatizados do projeto. Várias empresas de IA, incluindo a Anthropic e a OpenAI, citam frequentemente os resultados desse benchmark para demonstrar os avanços dos modelos.

Neste estudo, a equipe do METR recrutou quatro desenvolvedores experientes que mantêm os projetos de código aberto scikit-learn, Sphinx e pytest para revisar manualmente 296 trechos de código gerados por IA. Essas amostras de código foram produzidas por cinco modelos diferentes: Claude 3.5 Sonnet, Claude 3.7 Sonnet, Claude 4 Opus, Claude 4.5 Sonnet e GPT-5. Os resultados revelaram que a taxa de aceitação real pelos mantenedores foi, em média, cerca de 24 pontos percentuais inferior às pontuações automatizadas do SWE-bench — uma diferença estatisticamente significativa.

O estudo também determinou que o código de IA rejeitado não se devia principalmente a questões estilísticas, mas sim a falhas de engenharia mais substanciais. Os mantenedores categorizaram os problemas em três tipos principais: qualidade do código que não atendia às especificações do projeto, perturbação da estrutura do código existente e erros funcionais fundamentais. Uma parte significativa dos casos envolveu erros funcionais em que, apesar de passar nos testes automatizados, o código não resolvia corretamente o problema pretendido.

Em relação à comparação de modelos, a pesquisa constatou que a atualização do Claude 3.5 Sonnet para o Claude 3.7 Sonnet melhorou significativamente a taxa de aprovação no benchmark, mas o número de erros funcionais sinalizados pelos mantenedores também aumentou. A transição do Claude 3.7 Sonnet para o Claude 4 Opus observou uma mudança no sentido de mais problemas de qualidade de código, enquanto o Claude 4.5 Sonnet apresentou melhorias na qualidade de código. Em contraste, o GPT-5 teve um desempenho notavelmente pior no geral do que a série de modelos da Anthropic nesta avaliação manual.

A equipe de pesquisa também realizou uma análise estimada do “tempo de conclusão da tarefa”: de acordo com os resultados da avaliação automatizada do SWE-bench, o Claude 4.5 Sonnet levaria aproximadamente 50 minutos de esforço humano para concluir tarefas com uma taxa de sucesso de 50%. No entanto, com base nas pontuações dos mantenedores, o tempo estimado cai para apenas cerca de 8 minutos, sugerindo que o benchmark pode superestimar as capacidades em até sete vezes.

No entanto, os pesquisadores também enfatizaram que este estudo não implica um limite fundamental nas capacidades dos agentes de programação de IA. Com estratégias de prompt aprimoradas, mais feedback humano ou múltiplos ciclos de iteração, a diferença entre a avaliação automatizada e a revisão manual poderia ser reduzida. Além disso, a configuração experimental difere dos processos reais de desenvolvimento — por exemplo, os agentes de IA tiveram apenas uma tentativa de envio, enquanto desenvolvedores humanos normalmente podem modificar o código iterativamente com base no feedback.

Em resumo, o estudo conclui que basear-se exclusivamente em pontuações de benchmark para avaliar a utilidade prática de agentes de programação de IA pode introduzir um viés sistemático. À medida que os modelos de codificação de IA evoluem rapidamente, o desenvolvimento de sistemas de avaliação que reflitam melhor os ambientes de desenvolvimento do mundo real tornou-se uma direção de pesquisa crucial na engenharia de software de IA.