AReaL 2.0 Open Source: RL-Infrastruktur für sich selbst weiterentwickelnde Agenten durch Nutzung

Am 2. Juli veröffentlichte das Open-Source-Projekt AReaL zur Infrastruktur für verstärktes Lernen offiziell die Version 2.0. AReaL soll die Lücke zwischen dem Training grundlegender Modelle und modernen Agentenanwendungen schließen und bietet effiziente Unterstützung beim Training mit verstärktem Lernen für Agentenszenarien.

Das neu eingeführte AReaL 2.0 richtet sich an Agenten, die in realen Geschäftsumgebungen eingesetzt werden, und stellt eine Systeminfrastruktur bereit, die kontinuierliches Lernen während des Einsatzes der Agenten ermöglicht. Mit AReaL 2.0 können die Interaktionsprozesse, die Agenten bei der Ausführung realer Aufgaben generieren, aufgezeichnet, organisiert und in nachfolgende Trainingszyklen integriert werden. Diese Prozesse dienen dazu, die zugrunde liegenden Modelle kontinuierlich zu verfeinern, sodass Agenten leistungsfähiger werden und gleichzeitig sicher und kontrollierbar bleiben.

Derzeit halten Agenten Einzug in reale Produktionsumgebungen – sie schreiben Code, suchen nach Informationen und rufen Tools auf, um immer komplexere Aufgaben innerhalb von Unternehmenssystemen zu erledigen. Dabei ist jedoch ein Problem aufgetreten: Agenten arbeiten zwar täglich, lernen aber selten aus ihren Erfahrungen.

In realen Geschäftsszenarien sammeln Agenten eine große Menge wertvoller Erfahrungen: welche Aufgaben wurden gut erledigt, wo schlugen Tool-Aufrufe fehl, warum waren Nutzer unzufrieden und ob eine bestimmte Entscheidung in die falsche Richtung ging. Diese Informationen werden jedoch meist in Protokollen gespeichert, was es schwierig macht, sie stabil und sicher in den nächsten Schritt der Leistungsverbesserung umzusetzen.

AReaL 2.0 zielt darauf ab, das Problem zu lösen, wie Agenten nach ihrer Bereitstellung weiter wachsen können. Entwickler müssen Agenten nicht neu entwickeln; sie müssen lediglich die Anfragen, die Agenten normalerweise an große Modelle senden, über den einheitlichen Inferenz-Endpunkt von AReaL 2.0 leiten, um sie in den Online-Verstärkungslernprozess zu integrieren.

Abbildung: Architekturdiagramm des Online-Reinforcement-Learning (Online-RL) von AReaL 2.0

Nehmen wir den Hermes-Agenten als Beispiel. Hermes empfängt weiterhin wie gewohnt Aufgaben, plant Schritte und ruft Modelle auf. AReaL 2.0 zeichnet im Hintergrund die wichtigsten Interaktionsabläufe auf, während Hermes Aufgaben erledigt, und nutzt diese realen Verläufe in Kombination mit Feedback- oder Belohnungssignalen nach Abschluss der Aufgabe für das anschließende Training. Entwickler können Hermes auch durch ihren eigenen Agenten und ihre eigene Aufgabenumgebung ersetzen und mit demselben Ansatz einen Online-Verstärkungslernprozess für Agenten aufbauen.

Das bedeutet, dass die Verbesserung der Fähigkeiten eines Agenten nicht mehr ausschließlich auf manuell erstellten Daten, Offline-Training und erneuter Bereitstellung beruht. Mehrrundige Konversationen, Tool-Aufrufe, Ausführungsergebnisse und Rückmeldesignale aus realen Aufgaben können alle als Material für das Modelllernen dienen.

Dieser Punkt ist insbesondere in Unternehmensszenarien von Bedeutung. Agenten in Unternehmensabläufen sehen sich mit realen, komplexen und sich ständig ändernden Aufgaben konfrontiert: Code-Repositorys können aktualisiert werden, Geschäftsprozesse können sich ändern, Nutzerbedürfnisse können sich verschieben, und auch Werkzeuge und Systeme können sich wandeln. Sind die Fähigkeiten eines Agenten nach der Bereitstellung fest vorgegeben, wird er im Laufe der Zeit Schwierigkeiten haben, sich an die reale Umgebung anzupassen. AReaL 2.0 zielt darauf ab, die Lücke zwischen „der Fähigkeit, Tools zu nutzen“ und „der Fähigkeit, aus der Nutzung zu lernen“ zu schließen.

Gleichzeitig darf es beim kontinuierlichen Lernen in realen Geschäftsszenarien nicht lediglich um „das Sammeln von Daten und das erneute Trainieren“ gehen. Agenten greifen möglicherweise auf Code, Kundeninformationen, Wissensdatenbanken des Unternehmens und interne Systeme zu, weshalb die Trainingspipeline Anforderungen wie Zugriffskontrolle, Datenanonymisierung, Isolierung und Auditierung berücksichtigen muss. AReaL 2.0 führt in seinem Systemdesign einen Daten-Proxy-Mechanismus für Agenten-Traces ein, wodurch echte Aufgabendaten beim Eintritt in den Trainingsprozess sicherer und kontrollierter verwaltet und genutzt werden können.

Das AReaL-Team wies in seinem technischen Bericht darauf hin, dass der entscheidende Engpass für sich selbst weiterentwickelnde Agenten nicht nur darin besteht, wie leistungsfähig das Modell ist oder ob der Algorithmus für bestärkendes Lernen fortschrittlich ist, sondern im Fehlen einer Infrastruktur für online-basiertes bestärkendes Lernen, die echte Agenten unterstützt. AReaL 2.0 ist ein Architektur-Upgrade, das auf die nächste Generation von Agentenanwendungen abzielt: die Verknüpfung von Agentendiensten, realen Aufgabenverläufen, Daten-Governance und Online-Training mit verstärkendem Lernen, wodurch Agenten die praktische technische Grundlage erhalten, um nach der Bereitstellung weiter zu lernen.

Langfristig weist AReaL 2.0 auf das Evolutionsparadigma der nächsten Generation von Agentenanwendungen hin: Agenten sind nicht mehr nur einmalig trainierte und bereitgestellte Werkzeuge, sondern erhalten kontinuierlich Feedback in realen Umgebungen, wandeln sowohl Erfolge als auch Misserfolge in Erfahrungen um und verbessern ihre Fähigkeiten kontinuierlich innerhalb sicherer Grenzen.

Das AReaL-Projekt wurde 2024 von Teams ins Leben gerufen, zu denen unter anderem die Ant Group, die Tsinghua-Universität und die Hong Kong University of Science and Technology gehörten. Im Mai 2026 verließ AReaL offiziell das Inkubationsprogramm „Ant InclusionAI“ und wurde zu einer unabhängigen Open-Source-Community, die sich dem Projekt „PyTorch Foundation Ecosystem“ anschloss und sich damit weiter in das Mainstream-Ökosystem der Infrastruktur für verstärktes Lernen integrierte.

Während sich die Community eigenständig weiterentwickelt, erhält AReaL weiterhin Unterstützung und Beteiligung von Partnern aus der Industrie und dem Open-Source-Ökosystem, darunter das Huawei Cloud-Team und MindLab. Auch in Zukunft wird AReaL seine Arbeit in Bereichen wie Online-Reinforcement-Learning, automatisierte Bewertung und multimodales Agenten-Training fortsetzen und gemeinsam mit der Community die Entwicklung selbstentwickelnder Agenten-Ökosysteme vorantreiben.

Derzeit sind der technische Bericht und der Code zu AReaL 2.0 als Open Source verfügbar.

· GitHub-Repository: https://github.com/areal-project/AReaL

· Technischer Bericht: https://arxiv.org/abs/2607.01120