Агенты ИИ с открытым исходным кодом OpenCUA бросают вызов собственным моделям OpenAI и Anthropic

Исследователи из Гонконгского университета (HKU) и партнерских институтов разработали инновационный фреймворк с открытым исходным кодом под названием OpenCUA, который закладывает надежные основы для создания агентов ИИ, способных управлять компьютерами. Этот комплексный инструментарий содержит необходимые компоненты для масштабирования разработки агентов, использующих компьютеры (CUA), включая специализированные инструменты, обширные наборы данных для обучения и проверенные методики.

Первые оценки показывают, что модели, обученные с помощью OpenCUA, демонстрируют превосходную производительность в бенчмарках CUA по сравнению с другими решениями с открытым исходным кодом и конкурируют с собственными системами от таких лидеров индустрии, как OpenAI и Anthropic.

Сложная задача разработки компьютерных пользовательских агентов

Компьютерные агенты представляют собой преобразующий класс ИИ, предназначенный для автономного выполнения цифровых задач - от простой веб-навигации до работы со сложным программным обеспечением. Эти интеллектуальные системы обладают огромным потенциалом для автоматизации корпоративного рабочего процесса, однако большинство продвинутых CUA остаются проприетарными "черными ящиками".

"Отсутствие прозрачности в коммерческих CUA ограничивает технический прогресс и поднимает важные вопросы безопасности", - отмечает исследовательская группа в своей опубликованной работе. "Научное сообщество нуждается в действительно открытых платформах, чтобы должным образом изучить возможности, ограничения и потенциальные риски".

Нынешние инициативы с открытым исходным кодом сталкиваются со значительными препятствиями, включая:

• Недостаточная инфраструктура для крупномасштабного сбора разнообразных данных
• Ограниченная доступность качественных наборов данных по взаимодействию с графическим интерфейсом
• недостаточная документация, затрудняющая воспроизведение результатов исследований.

Как поясняется в документе: "Эти ограничения в совокупности препятствуют развитию CUA общего назначения и не позволяют всесторонне исследовать их масштабируемость, способность к обобщению и оптимальные подходы к обучению".

Представление фреймворка OpenCUA

Фреймворк OpenCUA представляет собой интегрированное решение, решающее задачи сбора данных и обучения моделей. Его основным компонентом является AgentNet Tool - специализированное программное обеспечение, которое фиксирует детальное взаимодействие человека и компьютера в различных операционных системах.

Этот инновационный инструмент работает незаметно в фоновом режиме, ведя запись:

• видеозаписи действий на экране
• Точный ввод данных с помощью мыши/клавиатуры
• Древовидные структуры доступности, определяющие экранные элементы.

Исследователи обработали эти необработанные данные о взаимодействии в уточненные "траектории "состояние-действие"", которые сопоставляют скриншоты экрана компьютера с соответствующими действиями пользователя. Полученный набор данных AgentNet включает в себя более 22 600 демонстраций задач в средах Windows, macOS и Ubuntu с более чем 200 различными приложениями и веб-сайтами.

Синьюань Ванг (Xinyuan Wang), научный сотрудник HKU и соавтор исследования, особо отметил строгую защиту конфиденциальности: "Мы внедрили многоуровневую систему безопасности, позволяющую аннотаторам полностью видеть и контролировать свои материалы, а также проводить ручную проверку и автоматическое сканирование конфиденциального содержимого перед публикацией данных".

Инновационная методология обучения

Фреймворк представляет собой новый конвейер обработки данных, сочетающий очищенные пары "состояние-действие" со структурированными рассуждениями в виде цепочки мыслей. Этот подход генерирует подробные "когнитивные монологи" для каждого действия, включающего:

1. высокоуровневые наблюдения за экраном
2. стратегический анализ и планирование
3. Точные исполняемые инструкции.

По словам Ванга, предприятия могут адаптировать этот конвейер для обучения специализированных агентов для собственных систем, записывая внутренние рабочие процессы и применяя ту же структуру рассуждений. "Это позволяет организациям разрабатывать высокопроизводительные пользовательские агенты без ручного создания трассировки рассуждений", - пояснил он.

Производительность бенчмарка и корпоративные приложения

Модель OpenCUA с 32 миллиардами параметров достигла рекордной производительности среди решений с открытым исходным кодом в бенчмарках OSWorld-Verified и значительно сократила разрыв с ведущими проприетарными системами. Ключевые выводы для предприятий включают:

• Применимость фреймворка в различных архитектурах и масштабах моделей
• Сильная обобщенность по платформам и типам задач
• Особая эффективность для автоматизации повторяющихся рабочих процессов.

Ванг обратил внимание на проблемы внедрения: "Для развертывания в реальном мире требуются надежные механизмы безопасности для предотвращения непреднамеренных модификаций системы или вредных побочных эффектов во время выполнения задач".

Исследовательская группа открыто опубликовала все компоненты фреймворка, включая исходный код, наборы данных и весовые коэффициенты моделей. По мере развития агентов, управляемых OpenCUA, они могут кардинально изменить динамику рабочих мест, позволив людям сосредоточиться на стратегических задачах, в то время как ИИ будет заниматься оперативным выполнением.