Os agentes de IA de código aberto da OpenCUA desafiam os modelos proprietários da OpenAI e da Anthropic

Pesquisadores da Universidade de Hong Kong (HKU) e de instituições parceiras desenvolveram uma estrutura inovadora de código aberto chamada OpenCUA, que estabelece bases sólidas para a criação de agentes de IA capazes de operar computadores. Esse kit de ferramentas abrangente fornece componentes essenciais para o desenvolvimento de agentes de uso de computador (CUA) em escala, incluindo ferramentas especializadas, conjuntos de dados de treinamento extensivos e metodologias comprovadas.

As avaliações iniciais demonstram que os modelos treinados com o OpenCUA alcançam um desempenho superior em benchmarks de CUA em comparação com outras soluções de código aberto, ao mesmo tempo em que rivalizam com sistemas proprietários de líderes do setor, como OpenAI e Anthropic.

O complexo desafio de desenvolver agentes de uso de computador

Os agentes de uso de computador representam uma classe transformadora de IA projetada para executar de forma autônoma tarefas digitais que vão desde a simples navegação na Web até a complexa operação de software. Esses sistemas inteligentes têm um enorme potencial para a automação do fluxo de trabalho empresarial, mas a maioria dos CUAs avançados continua sendo uma caixa preta proprietária.

"A falta de transparência nas CUAs comerciais restringe o progresso técnico e levanta importantes considerações de segurança", observa a equipe de pesquisa em seu trabalho publicado. "A comunidade científica precisa de estruturas realmente abertas para investigar adequadamente os recursos, as limitações e os possíveis riscos."

As iniciativas atuais de código aberto enfrentam obstáculos significativos, incluindo:

• Infraestrutura insuficiente para coleta de dados diversos e em larga escala
• Disponibilidade limitada de conjuntos de dados de interação de GUI de qualidade
• Documentação inadequada que dificulta a reprodução da pesquisa

Como explica o documento: "Essas restrições impedem coletivamente o avanço das CUAs de uso geral e impedem a exploração abrangente de sua escalabilidade, capacidade de generalização e abordagens de aprendizado ideais."

Apresentando a estrutura do OpenCUA

A estrutura do OpenCUA apresenta uma solução integrada que aborda os desafios da coleta de dados e do treinamento de modelos. Seu principal componente é a ferramenta AgentNet, um software especializado que captura interações homem-computador detalhadas em vários sistemas operacionais.

Essa ferramenta inovadora opera discretamente em segundo plano, registrando:

• Vídeos de atividades na tela
• Entradas precisas de mouse/teclado
• Estruturas de árvore de acessibilidade que definem elementos na tela

Os pesquisadores processaram esses dados brutos de interação em "trajetórias de estado-ação" refinadas que combinam capturas de tela do computador com as ações correspondentes do usuário. O conjunto de dados AgentNet resultante compreende mais de 22.600 demonstrações de tarefas que abrangem ambientes Windows, macOS e Ubuntu com mais de 200 aplicativos e sites diferentes.

Xinyuan Wang, pesquisador de doutorado da HKU e coautor do estudo, enfatizou suas rigorosas proteções de privacidade: "Implementamos uma estrutura de segurança em várias camadas que permite aos anotadores total visibilidade e controle sobre seus envios, seguida de verificação manual e varredura automatizada de conteúdo sensível antes da liberação dos dados."

Metodologia de treinamento inovadora

A estrutura apresenta um novo pipeline de processamento de dados que combina pares estado-ação limpos com raciocínio estruturado de cadeia de pensamento. Essa abordagem gera "monólogos cognitivos" detalhados para cada ação que compreende:

1. Observações de alto nível da tela
2. Análise e planejamento estratégicos
3. Instruções executáveis precisas

De acordo com Wang, as empresas podem adaptar esse pipeline para treinar agentes especializados para sistemas proprietários, registrando fluxos de trabalho internos e aplicando a mesma estrutura de raciocínio. "Isso permite que as organizações desenvolvam agentes personalizados de alto desempenho sem a criação manual de rastreamento de raciocínio", explicou.

Desempenho de benchmark e aplicativos corporativos

O modelo OpenCUA de 32 bilhões de parâmetros alcançou um desempenho recorde entre as soluções de código aberto nos benchmarks OSWorld-Verified e, ao mesmo tempo, reduziu significativamente a diferença em relação aos principais sistemas proprietários. As principais conclusões da empresa incluem:

• Aplicabilidade da estrutura em diversas arquiteturas e escalas de modelos
• Forte generalização entre plataformas e tipos de tarefas
• Eficácia especial para automatizar fluxos de trabalho repetitivos

Wang destacou os desafios da implementação: "A implementação no mundo real exige mecanismos de segurança robustos para evitar modificações não intencionais no sistema ou efeitos colaterais prejudiciais durante a execução da tarefa."

A equipe de pesquisa liberou abertamente todos os componentes da estrutura, inclusive o código-fonte, os conjuntos de dados e os pesos do modelo. À medida que os agentes orientados pelo OpenCUA avançam, eles podem transformar fundamentalmente a dinâmica do local de trabalho, permitindo que os trabalhadores humanos se concentrem em objetivos estratégicos enquanto a IA lida com a execução operacional.