Le framework AReaL v1.0 d'OpenClaw permet l'entraînement simultané d'agents IA

Le 4 mars, Ant Group, en collaboration avec l'université Tsinghua, a publié la version stable du cadre open source de formation par apprentissage par renforcement, AReaL v1.0. Cette version vise principalement à permettre « un accès en un clic à la formation par apprentissage par renforcement pour les agents ». Elle ne nécessite aucune modification du code, est compatible avec divers cadres d'agents et permet aux agents intelligents de commencer immédiatement leur formation par apprentissage par renforcement.

Depuis le début de l'année 2026, les agents ont maintenu une forte dynamique de croissance. Des frameworks tels que LangChain, Claude Code et OpenClaw ont progressé rapidement, mais ils mettent en évidence deux goulots d'étranglement importants. Premièrement, l'accès à la formation est difficile : les frameworks d'agents existants utilisent des interfaces variées, ce qui nécessite souvent un code d'adaptation important pour l'intégration. Deuxièmement, les agents ne bénéficient pas d'une évolution continue : la plupart s'appuient sur des poids de modèle fixes issus de leur phase d'entraînement initiale. Une fois déployés, ils ne peuvent plus être optimisés pour des scénarios spécifiques, leurs capacités étant plafonnées dès leur lancement.

AReaL est le premier système d'apprentissage par renforcement à grande échelle entièrement asynchrone, dissociant entraînement et inférence. Il permet aux agents de recevoir un retour d'information et d'affiner en continu leurs décisions grâce à des interactions avec des tâches du monde réel. La version 1.0 permet à n'importe quel agent de se connecter à l'entraînement RL sans modification. En insérant une couche Proxy Worker entre l'agent et le système d'entraînement, les développeurs n'ont qu'à rediriger une seule adresse de requête pour activer l'entraînement.

(Figure : l'architecture d'entraînement asynchrone d'AReaL s'intègre de manière transparente aux agents)

Prenons l'exemple du célèbre framework OpenClaw. Les développeurs n'ont qu'à pointer les paramètres `base_url` et `api_key` de la configuration d'OpenClaw vers la passerelle AReaL. Leur agent OpenClaw est alors connecté à l'entraînement par apprentissage par renforcement. L'agent continue d'exécuter ses tâches normalement, tandis que les utilisateurs évaluent périodiquement ses performances. AReaL collecte automatiquement ces données d'entraînement et met à jour le modèle en arrière-plan, permettant ainsi à l'agent d'évoluer de manière autonome grâce à une utilisation continue.

La version 1.0 d'AReaL introduit également le moteur d'entraînement natif, Archon. S'appuyant sur les capacités natives de PyTorch, il atteint un parallélisme 5D complet — parallélisme des données, du pipeline, des tenseurs, du contexte et des experts —, réduisant ainsi les obstacles liés à l'installation et au débogage. Il offre également plusieurs options de backend pour l'entraînement et l'inférence, facilitant un déploiement flexible dans différents environnements. Il est remarquable que ce système distribué complexe ait été développé et validé à partir de zéro en seulement un mois-personne. En 32 jours, près d’un million de lignes de code ont été modifiées pour implémenter pleinement le moteur Archon, lui permettant d’entraîner des modèles Mixture-of-Experts (MoE) à un milliard de paramètres.

Le secret de cette avancée en matière d'efficacité réside dans le système de développement assisté par IA intégré d'AReaL, qui automatise des tâches d'ingénierie hautement complexes.

AReaL v1.0 propose un workflow de développement assisté par IA qui offre un soutien de bout en bout, de la planification et du codage à la vérification et à la création de PR. Lors du travail sur des modules centraux tels que le parallélisme MoE, l'optimisation de la mémoire et l'implémentation d'algorithmes, un assistant de programmation IA dédié agit comme un expert senior. Il fournit des conseils ciblés et opportuns lors des modifications de code, garantissant l'exactitude de chaque modification. La programmation assistée par IA d'AReaL est plus qu'un simple outil de productivité ; elle permet d'entreprendre des travaux de R&D « livrables » dans le cadre de projets d'infrastructure complexes, ouvrant la voie au prochain paradigme de l'ingénierie des infrastructures d'IA.

L'équipe AReaL a déclaré qu'elle continuerait à améliorer les moteurs d'entraînement, la convivialité et la formation des agents multimodaux. Le code et la documentation d'AReaL v1.0 sont désormais open source au sein de la communauté inclusionAI.

· Dépôt GitHub : https://github.com/inclusionAI/AReaL

· Article associé : https://arxiv.org/abs/2505.24298