Фреймворк AReaL v1.0 от OpenClaw позволяет проводить параллельное обучение агентов искусственного интеллекта

4 марта компания Ant Group совместно с Университетом Цинхуа выпустила стабильную версию открытой платформы для обучения методом усиления AReaL v1.0. Основная цель этого релиза — обеспечить «доступ к обучению методом усиления для агентов одним щелчком мыши». Платформа не требует изменения кода, совместима с различными фреймворками агентов и позволяет интеллектуальным агентам немедленно приступить к обучению методом усиления.

С начала 2026 года агенты сохраняют высокую динамику роста. Такие платформы, как LangChain, Claude Code и OpenClaw, быстро развиваются, однако в них прослеживаются два существенных узких места. Во-первых, высокий барьер для доступа к обучению: существующие платформы агентов используют разнообразные интерфейсы, что зачастую требует обширного адаптационного кода для интеграции. Во-вторых, агентам не хватает непрерывной эволюции: большинство из них полагается на фиксированные веса моделей, полученные на начальном этапе обучения. После развертывания их невозможно дополнительно оптимизировать для конкретных сценариев, а их возможности ограничиваются тем, что было заложено при запуске.

AReaL — это первая полностью асинхронная, крупномасштабная система обучения с подкреплением, в которой обучение и вывод развязаны. Она позволяет агентам получать обратную связь и непрерывно уточнять свои решения посредством взаимодействия с реальными задачами. Версия 1.0 позволяет любому агенту подключаться к обучению RL без изменений. Вставив слой Proxy Worker между агентом и системой обучения, разработчикам достаточно перенаправить адрес одного запроса, чтобы включить обучение.

(Рисунок: Асинхронная архитектура обучения AReaL, плавно интегрированная в агенты)

Возьмем в качестве примера популярный фреймворк OpenClaw. Разработчикам достаточно просто указать `base_url` и `api_key` в конфигурации OpenClaw на шлюз AReaL. После этого их агент OpenClaw подключается к обучению с помощью метода усиления. Агент продолжает выполнять задачи в обычном режиме, а пользователи периодически оценивают его работу. AReaL автоматически собирает эти обучающие данные и обновляет модель в фоновом режиме, позволяя агенту развиваться автономно в процессе непрерывного использования.

В версии AReaL v1.0 также представлен собственный механизм обучения — Archon. Основанный на встроенных возможностях PyTorch, он обеспечивает полный 5D-параллелизм — параллелизм данных, конвейера, тензоров, контекста и экспертов — снижая барьеры для установки и отладки. Он также предлагает несколько вариантов бэкэнда для обучения и инференса, что облегчает гибкое развертывание в различных средах. Примечательно, что эта сложная распределенная система была разработана и протестирована с нуля всего за один человеко-месяц. За 32 дня было изменено почти миллион строк кода для полной реализации движка Archon, что позволило ему обучать модели «смеси экспертов» (MoE) с миллиардами параметров.

Секретом этого прорыва в эффективности является интегрированная система разработки AReaL с поддержкой ИИ, которая автоматизирует высокосложные инженерные задачи.

AReaL v1.0 отличается рабочим процессом разработки с поддержкой ИИ, который обеспечивает комплексную поддержку — от планирования и кодирования до верификации и создания PR. При работе над ключевыми модулями, такими как параллелизм MoE, оптимизация памяти и реализация алгоритмов, специальный программный помощник на базе ИИ выступает в роли старшего эксперта. Он предоставляет своевременные и целенаправленные рекомендации при внесении изменений в код, гарантируя правильность каждой модификации. Программирование с помощью ИИ в AReaL — это больше, чем просто инструмент для повышения производительности; оно позволяет выполнять «результативную» научно-исследовательскую работу в сложных инфраструктурных проектах, открывая путь к новой парадигме инжиниринга инфраструктуры ИИ.

Команда AReaL заявила, что будет продолжать совершенствовать механизмы обучения, удобство использования и обучение мультимодальных агентов. Код и документация для AReaL v1.0 теперь доступны в открытом доступе в сообществе inclusionAI.

· Репозиторий GitHub: https://github.com/inclusionAI/AReaL

· Статья по теме: https://arxiv.org/abs/2505.24298