A IA do Github Copilot testada: sucesso de codificação mista me deixa confuso

Explorando as Inconsistências em Ferramentas de Codificação de IA

É realmente intrigante como ferramentas de IA, todas construídas sobre o mesmo modelo de linguagem de grande escala, podem produzir resultados tão variados. Por exemplo, ChatGPT, Perplexity e GitHub Copilot utilizam o modelo GPT-4 da OpenAI. No entanto, meus testes recentes mostraram diferenças gritantes no desempenho: enquanto os planos profissionais do ChatGPT e do Perplexity se destacaram, o GitHub Copilot teve uma taxa de sucesso de 50%.

Realizei esses testes usando o GitHub Copilot integrado a um ambiente VS Code. Compartilharei um guia detalhado sobre como configurar isso em um artigo futuro. Por enquanto, vamos mergulhar nos detalhes dos testes que realizei.

Se você está curioso sobre minha metodologia de teste e os prompts utilizados, pode conferir meu guia detalhado sobre como avaliar as capacidades de codificação de um chatbot de IA.

TL;DR: O GitHub Copilot conseguiu passar em dois dos quatro testes que realizei.

Teste 1: Escrevendo um Plugin para WordPress

Este teste foi uma completa decepção. Foi meu experimento inicial, deixando-me inseguro se o GitHub Copilot tem dificuldades com codificação ou se as limitações de interação dentro do VS Code prejudicam suas capacidades.

Aqui está o contexto: pedi à IA que desenvolvesse um plugin para WordPress totalmente funcional, que incluísse uma interface administrativa e lógica operacional. A tarefa do plugin era aceitar uma lista de nomes, ordená-los e separar quaisquer duplicatas para evitar adjacência.

Essa tarefa surgiu de uma necessidade real do negócio de comércio eletrônico de bens digitais da minha esposa, onde ela gerencia um grupo ativo no Facebook.

Enquanto cinco dos dez modelos de IA testados passaram neste teste completamente, três passaram parcialmente e dois, incluindo o Microsoft Copilot, falharam completamente. O GitHub Copilot, apesar de receber o mesmo prompt, produziu apenas código PHP. Embora o problema pudesse ser resolvido apenas com PHP, o GitHub Copilot tentou referenciar JavaScript sem realmente gerá-lo.

Quando tentei solicitar ao GitHub Copilot, a partir de um arquivo JavaScript, para completar a tarefa, ele respondeu bizarramente com mais código PHP, ainda referenciando um arquivo JavaScript inexistente.

Teste 2: Reescrevendo uma Função de String

Este teste foi relativamente simples: forneci uma função destinada a validar dólares e centavos, mas que verificava apenas dólares inteiros. O desafio era que a IA corrigisse a função.

O GitHub Copilot modificou o código, mas o resultado foi problemático. Ele presumiu que qualquer string de entrada era válida, o que causaria erros se a string estivesse vazia. Além disso, a expressão regular atualizada não conseguia lidar com vários casos extremos, como entradas como "3.", ".3" ou "00.30". Para uma função destinada a validar moeda, tais descuidos são inaceitáveis, marcando outra falha para o GitHub Copilot.

Teste 3: Encontrando um Bug Irritante

Aqui, o GitHub Copilot brilhou. Este teste foi baseado em um desafio de codificação real que enfrentei, onde a mensagem de erro não apontava diretamente para o problema real. É um pouco como um enigma de codificação, exigindo uma compreensão profunda das chamadas de API do WordPress para resolver.

Enquanto o Microsoft Copilot, Gemini e Meta Code Llama tropeçaram neste teste, o GitHub Copilot acertou em cheio, demonstrando sua capacidade de enfrentar problemas complexos do mundo real.

Teste 4: Escrevendo um Script

O GitHub Copilot também teve sucesso neste teste, onde o Microsoft Copilot ficou aquém. A tarefa envolvia criar um script que precisava integrar AppleScript, o modelo de objeto do Chrome e um utilitário específico para Mac chamado Keyboard Maestro.

Para passar, a IA precisava reconhecer e abordar as nuances de todos os três ambientes, e o GitHub Copilot fez exatamente isso.

Considerações Finais

É desanimador ver o GitHub Copilot, que usa o avançado modelo GPT-4, falhar em metade dos testes. Dado o status do GitHub como uma plataforma líder de gerenciamento de código-fonte, seria de esperar que seu suporte à codificação com IA fosse mais confiável.

No entanto, o mundo da IA está em constante evolução, e estou otimista de que o desempenho do GitHub Copilot melhorará com o tempo. Revisitaremos isso em alguns meses para ver como ele progrediu.

Você depende de IA para assistência em codificação? Qual ferramenta de IA é a sua preferida? Já experimentou o GitHub Copilot? Compartilhe suas experiências nos comentários abaixo.

Fique atualizado com o progresso diário do meu projeto nas redes sociais. Não se esqueça de se inscrever na minha newsletter semanal e me seguir no Twitter/X em @DavidGewirtz, no Facebook em Facebook.com/DavidGewirtz, no Instagram em Instagram.com/DavidGewirtz, no Bluesky em @DavidGewirtz.com e no YouTube em YouTube.com/DavidGewirtzTV.