AReaL 2.0 開源專案：透過使用實現自我演化代理的強學習基礎架構

7月2日，開源強化的學習基礎架構專案 AReaL 正式發布 2.0 版本。AReaL 旨在彌合基礎模型訓練與現代代理程式應用之間的鴻溝，為代理程式情境提供高效的強化的學習訓練支援。

新推出的 AReaL 2.0 專為在真實商業環境中運作的代理而設計，提供一套系統基礎架構，使代理在實際運作過程中能夠持續學習。 透過 AReaL 2.0，代理在執行實際任務時所產生的互動流程，可被記錄、整理並整合至後續的訓練週期中。這些流程將用於持續精進底層模型，使代理在保持安全與可控性的同時，能力得以不斷提升。

目前，代理程式正逐步進入真實的生產環境——在企業系統中編寫程式碼、搜尋資訊，並調用工具來完成日益複雜的任務。然而，一個問題浮現了：代理程式雖然每天都在運作，卻鮮少從經驗中成長。

在真實的商業情境中，代理會產生大量寶貴的經驗：哪些任務完成得很好、工具呼叫在何處失敗、使用者為何不滿意，以及某項決策是否偏離正軌。然而，這些資訊大多儲存在日誌中，難以穩定且安全地將其轉化為下一階段的能力提升。

AReaL 2.0 旨在解決代理在部署後如何持續成長的問題。開發人員無需重新開發代理；只需將代理通常發送至大型模型的請求，透過 AReaL 2.0 的統一推論端點進行路由，即可整合至線上強化學習流程中。

圖：AReaL 2.0 線上強化的學習（Online RL）架構圖

以 Hermes 代理為例。Hermes 會一如往常地持續接收任務、規劃步驟並呼叫模型。 AReaL 2.0 會在後台記錄 Hermes 完成任務時的關鍵互動過程，並將這些真實軌跡與任務完成後的反饋或獎勵訊號結合，用於後續訓練。開發人員亦可將 Hermes 替換為自有的代理程式與任務環境，採用相同方法為代理程式建構線上強化學習流程。

這意味著代理的能力提升不再僅依賴於人工構建的資料、離線訓練及重新部署。多輪對話、工具調用、執行結果以及來自真實任務的回饋訊號，皆可成為模型學習的素材。

這一點在企業情境中尤為重要。企業工作流程中的代理須面對真實、複雜且不斷變化的任務：程式碼儲存庫可能更新、業務流程可能變更、使用者需求可能轉變，工具與系統也可能隨之改變。若代理的能力在部署後便固定不變，隨著時間推移，將難以適應真實環境。 AReaL 2.0 旨在填補「能夠使用工具」與「能夠從使用中學習」之間的缺失環節。

與此同時，在真實商業情境中的持續學習，不能僅僅停留在「收集數據並重新訓練」的層面。代理程式可能會存取程式碼、客戶資訊、企業知識庫及內部系統，因此訓練流程必須考量存取控制、數據匿名化、隔離及稽核等要求。 AReaL 2.0 在系統設計中為代理程式追蹤記錄引入了資料代理機制，使真實任務資料在進入訓練流程時，能以更安全且可控的方式進行管理與運用。

AReaL 團隊在其技術報告中指出，自演化代理的關鍵瓶頸不僅在於模型的強大程度或強化學習演算法的先進性，更在於缺乏能服務真實代理的線上強化學習基礎架構。 AReaL 2.0 是一項針對下一代代理應用程式的架構升級：整合代理服務、真實任務軌跡、資料治理及線上強化學習訓練，為代理提供實用的工程基礎，使其在部署後仍能持續學習。

從長遠角度來看，AReaL 2.0 指明了下一代代理應用程式的演進範式：代理不再是僅經一次性訓練與部署的工具，而是能在真實環境中持續獲取回饋，將成功與失敗皆轉化為經驗，並在安全的邊界內持續提升其能力。

AReaL 專案由螞蟻集團、清華大學及香港科技大學等團隊於 2024 年共同發起。 2026年5月，AReaL 正式從螞蟻 InclusionAI 孵化計畫中畢業，成為獨立的開源社群，並加入 PyTorch 基金會生態系統計畫，進一步融入主流強化的學習基礎設施生態系統。

隨著社群獨立發展，AReaL 也持續獲得來自業界及開源生態夥伴的參與與支持，包括華為雲團隊與 MindLab。 未來，AReaL 將持續圍繞線上強化的學習、自動化評估及多模態代理訓練等領域進行迭代，並與社群攜手推動自演化代理生態系統的發展。

目前，AReaL 2.0 的技術報告與原始碼已開源。

· GitHub 儲存庫：https://github.com/areal-project/AReaL

· 技術報告：https://arxiv.org/abs/2607.01120