A estrutura AReaL v1.0 da OpenClaw permite o treinamento simultâneo de agentes de IA

Em 4 de março, o Ant Group, em colaboração com a Universidade de Tsinghua, lançou a versão estável da estrutura de código aberto para treinamento de aprendizagem por reforço, AReaL v1.0. Este lançamento tem como foco possibilitar o “acesso ao treinamento de RL com um clique para agentes”. Não requer modificações no código, é compatível com diversas estruturas de agentes e permite que agentes inteligentes iniciem o treinamento de aprendizagem por reforço imediatamente.

Desde o início de 2026, os agentes mantêm um forte impulso de crescimento. Estruturas como LangChain, Claude Code e OpenClaw avançaram rapidamente, mas destacam dois gargalos significativos. Primeiro, a barreira para o acesso ao treinamento é alta: as estruturas de agentes existentes utilizam interfaces variadas, muitas vezes exigindo um extenso código de adaptação para integração. Segundo, os agentes carecem de evolução contínua: a maioria depende de pesos de modelo fixos desde sua fase inicial de treinamento. Uma vez implantados, eles não podem ser otimizados posteriormente para cenários específicos, tendo suas capacidades limitadas ao momento do lançamento.

O AReaL é o primeiro sistema de aprendizado por reforço em grande escala totalmente assíncrono, com separação entre treinamento e inferência. Ele permite que os agentes recebam feedback e refinem continuamente suas decisões por meio de interações com tarefas do mundo real. A versão 1.0 permite que qualquer agente se conecte ao treinamento de RL sem alterações. Ao inserir uma camada de Proxy Worker entre o agente e o sistema de treinamento, os desenvolvedores precisam apenas redirecionar um único endereço de solicitação para habilitar o treinamento.

(Figura: a arquitetura de treinamento assíncrona do AReaL perfeitamente integrada aos agentes)

Tomemos como exemplo a popular estrutura OpenClaw. Os desenvolvedores precisam simplesmente apontar o `base_url` e a `api_key` na configuração do OpenClaw para o gateway do AReaL. Seu agente OpenClaw é então conectado ao treinamento de aprendizado por reforço. O agente continua realizando tarefas normalmente, enquanto os usuários avaliam periodicamente seu desempenho. O AReaL coleta automaticamente esses dados de treinamento e atualiza o modelo em segundo plano, permitindo que o agente evolua autonomamente por meio do uso contínuo.

A versão AReaL v1.0 também apresenta o mecanismo de treinamento nativo, o Archon. Construído com base nos recursos nativos do PyTorch, ele alcança paralelismo 5D completo — paralelismo de dados, pipeline, tensores, contexto e especialistas — reduzindo as barreiras de instalação e depuração. Ele também oferece múltiplas opções de backend para treinamento e inferência, facilitando a implantação flexível em diferentes ambientes. Notavelmente, esse complexo sistema distribuído foi desenvolvido e validado do zero em apenas um mês-pessoa. Em 32 dias, quase um milhão de linhas de código foram modificadas para implementar totalmente o mecanismo Archon, permitindo que ele treine modelos Mixture-of-Experts (MoE) com bilhões de parâmetros.

O segredo por trás desse avanço em eficiência é o sistema integrado de desenvolvimento assistido por IA do AReaL, que automatiza tarefas de engenharia altamente complexas.

O AReaL v1.0 apresenta um fluxo de trabalho de desenvolvimento assistido por IA que oferece suporte de ponta a ponta, desde o planejamento e a codificação até a verificação e a criação de PRs. Ao trabalhar em módulos centrais como paralelismo MoE, otimização de memória e implementação de algoritmos, um assistente de programação de IA dedicado atua como um especialista sênior. Ele fornece orientação oportuna e direcionada durante as alterações de código, garantindo a correção de cada modificação. A programação assistida por IA do AReaL é mais do que apenas uma ferramenta de produtividade; ela pode realizar trabalhos de P&D “concreto” em projetos de infraestrutura complexos, sendo pioneira no próximo paradigma para a engenharia de infraestrutura de IA.

A equipe do AReaL afirmou que continuará a iterar nos mecanismos de treinamento, usabilidade e treinamento de agentes multimodais. O código e a documentação do AReaL v1.0 agora estão disponíveis como código aberto na comunidade inclusionAI.

· Repositório GitHub: https://github.com/inclusionAI/AReaL

· Artigo relacionado: https://arxiv.org/abs/2505.24298