A Tencent apresenta o WorkBuddy Bench: um ambiente de testes para agentes inteligentes de programação integrado a ferramentas de código, web, Office e segurança

Historicamente, os agentes de codificação têm se limitado a domínios restritos — como a correção de bugs no SWE-bench ou tarefas de front-end no Design2Code —, enquanto os benchmarks de produção permanecem, em grande parte, inacessíveis à análise externa. A Tencent aborda essa lacuna com o WorkBuddy Bench, um conjunto de avaliação multidomínio detalhado em um artigo recente publicado no arXiv. Sua característica principal não é o volume de tarefas, mas uma arquitetura de design explicitamente projetada para impedir a memorização de respostas.

Este benchmark abrange quatro domínios profissionais: engenharia de software (código no nível do repositório), desenvolvimento front-end (artefatos da web), operações comerciais (fluxos de trabalho de escritório com múltiplos arquivos) e segurança cibernética (cenários de equipes vermelha e azul). O conjunto compreende 80, 70, 50 e 60 tarefas, respectivamente, totalizando 260. Fundamentalmente, nenhuma tarefa se origina de bancos de questões públicos; em vez disso, elas são submetidas a engenharia reversa a partir de commits de código reais, pull requests ou contextos de negócios, e depois reformuladas em prompts concisos, coloquiais e baseados em simulação de papéis. Essa abordagem garante que pesquisas online por pull requests correspondentes ou pistas de commits não produzam resultados, impedindo efetivamente a memorização. Como o conjunto de dados é totalmente aberto — incluindo diretórios, imagens de ambiente, ferramentas de avaliação, casos de teste e soluções de referência —, sua resistência à contaminação depende desse método de construção e do controle de versão, e não da obscuridade.

Embora todos os quatro subconjuntos compartilhem uma estrutura de diretórios unificada, cada um emprega métricas de validação distintas, tornando inválidas as comparações diretas de pontuação entre os subconjuntos. Consequentemente, a Tencent não publica uma pontuação agregada do conjunto. As tarefas de código são avaliadas por meio de taxas de aprovação em testes ocultos; as tarefas da web combinam verificações de regras com avaliações de LLM/VLM e de agentes, exigindo a entrega de artefatos ao longo de um caminho especificado sem acesso à internet em tempo real; as tarefas de escritório utilizam verificações determinísticas de regras ponderadas entre 0,70 e 0,95, juntamente com avaliação de LLM baseada em evidências; e as tarefas de segurança dependem de scripts determinísticos `scoring.py` executados três vezes para cálculo da média, excluindo modelos grandes como avaliadores. O subconjunto de segurança implementa cinco camadas anti-trapaça: desativação da varredura literal, renomeação de entradas, mascaramento de testes adulterados, codificação de dependências e uso de tarefas-isca de baixo peso. Inclui 38 tarefas da equipe vermelha e 22 da equipe azul, com auditorias de caixa aberta ancoradas em CVEs do mundo real no binutils, curl e nginx.

A criação de tarefas segue um fluxo de trabalho padronizado: coleta de código-fonte, reescrita em solicitações autênticas, montagem do espaço de trabalho, isolamento dos ativos de avaliação após a execução e empacotamento em diretórios independentes. Os dados do usuário permanecem intocados durante todo o processo. As tarefas de código atribuem cinco funções distintas (desenvolvedor, engenheiro de algoritmos, gerente de produto, controle de qualidade, operações), enquanto as tarefas de segurança atribuem perfis profissionais. São fornecidas informações deliberadamente incompletas — arquivos-alvo, padrões e limites são ocultados —, forçando os agentes a recuperar o contexto de forma independente. Os ativos de pontuação são revelados somente após a execução, garantindo que os agentes nunca os encontrem durante a operação.

As avaliações ocorrem em contêineres isolados com ambientes separados para modelos e sandbox. A estrutura utiliza o CodeBuddy Code (padrão) e o Claude Code, empregando esforços de raciocínio ampliados e uma janela de contexto de 200 mil, ao mesmo tempo em que desativa o WebSearch e o AskUserQuestion. Essa restrição é fundamental: desativar a pesquisa online verifica se os mecanismos de resistência à contaminação funcionam conforme o esperado.

O quadro de classificação ranqueia várias famílias de modelos (pontuações de 0 a 100, modo de raciocínio, três médias). O Claude Opus4.8 domina as primeiras posições nas categorias de código, web, escritório e segurança, garantindo cinco primeiros lugares; o GLM-5.2 lidera duas categorias de segurança, e o GPT-5.5 lidera a categoria de escritório cc. A estrutura demonstra alta sensibilidade, particularmente em segurança, onde as variações médias absolutas na classificação chegam a 8,6 pontos. Na estrutura cc, o Claude Opus4.8 rejeitou 13 respostas, em comparação com as duas rejeições do GPT-5.5 na estrutura cbc. Em relação à eficiência, o GPT-5.5 gera o menor número de tokens, mantendo pontuações competitivas, enquanto o DeepSeek-V4-Pro executou 44 rodadas de código com alto rendimento de tokens, refletindo uma abordagem que exige mais recursos.