Les agents d'IA libres d'OpenCUA défient les modèles propriétaires d'OpenAI et d'Anthropic

Des chercheurs de l'Université de Hong Kong (HKU) et d'institutions partenaires ont développé un cadre innovant à code source ouvert appelé OpenCUA qui établit des bases solides pour la construction d'agents d'intelligence artificielle capables de faire fonctionner des ordinateurs. Cette boîte à outils complète fournit des éléments essentiels à l'extension du développement d'agents d'utilisation d'ordinateurs (AUE), notamment des outils spécialisés, de vastes ensembles de données d'entraînement et des méthodologies éprouvées.

Les premières évaluations montrent que les modèles formés avec OpenCUA obtiennent des performances supérieures à celles d'autres solutions open-source sur les benchmarks CUA, tout en rivalisant avec les systèmes propriétaires de leaders industriels tels que OpenAI et Anthropic.

Le défi complexe du développement d'agents informatiques

Les agents informatiques représentent une classe d'IA transformatrice conçue pour exécuter de manière autonome des tâches numériques allant de la simple navigation sur le web à l'utilisation de logiciels complexes. Ces systèmes intelligents recèlent un énorme potentiel pour l'automatisation des flux de travail des entreprises, mais la plupart des AUC avancés restent des boîtes noires propriétaires.

"Le manque de transparence des AUC commerciaux limite les progrès techniques et soulève d'importantes questions de sécurité", note l'équipe de recherche dans son travail publié. "La communauté scientifique a besoin de cadres véritablement ouverts pour étudier correctement les capacités, les limites et les risques potentiels.

Les initiatives actuelles en matière de logiciels libres se heurtent à des obstacles importants, notamment

• une infrastructure insuffisante pour la collecte de données diverses à grande échelle
• la disponibilité limitée d'ensembles de données de qualité sur les interactions avec les interfaces graphiques
• une documentation inadéquate qui rend la recherche difficile à reproduire.

Comme l'explique le document : "Ces contraintes entravent collectivement l'avancement des AUC à usage général et empêchent l'exploration complète de leur évolutivité, de leur capacité de généralisation et des approches d'apprentissage optimales."

Présentation du cadre OpenCUA

Le cadre OpenCUA présente une solution intégrée qui répond à la fois aux défis de la collecte de données et de la formation de modèles. Son composant principal est l'outil AgentNet - un logiciel spécialisé qui capture les interactions détaillées entre l'homme et l'ordinateur sur plusieurs systèmes d'exploitation.

Cet outil innovant fonctionne discrètement en arrière-plan et enregistre :

• des vidéos de l'activité de l'écran
• les entrées précises de la souris ou du clavier
• les arborescences d'accessibilité définissant les éléments à l'écran.

Les chercheurs ont traité ces données brutes d'interaction en "trajectoires état-action" affinées qui associent des captures d'écran d'ordinateur aux actions correspondantes de l'utilisateur. L'ensemble de données AgentNet qui en résulte comprend plus de 22 600 démonstrations de tâches couvrant les environnements Windows, macOS et Ubuntu avec plus de 200 applications et sites web divers.

Xinyuan Wang, chercheur doctorant à la HKU et coauteur de l'étude, a insisté sur la rigueur des mesures de protection de la vie privée : "Nous avons mis en place un cadre de sécurité multicouche permettant aux annotateurs d'avoir une visibilité et un contrôle complets sur leurs soumissions, suivi d'une vérification manuelle et d'une analyse automatisée du contenu sensible avant la diffusion des données."

Méthodologie de formation innovante

Le cadre introduit un nouveau pipeline de traitement des données combinant des paires état-action nettoyées avec un raisonnement structuré par chaîne de pensée. Cette approche génère des "monologues cognitifs" détaillés pour chaque action :

1. des observations de haut niveau sur l'écran
2. une analyse et une planification stratégiques
3. des instructions exécutables précises.

Selon M. Wang, les entreprises peuvent adapter ce pipeline pour former des agents spécialisés pour des systèmes propriétaires en enregistrant les flux de travail internes et en appliquant le même cadre de raisonnement. "Cela permet aux entreprises de développer des agents personnalisés très performants sans avoir à créer manuellement des traces de raisonnement", explique-t-il.

Performances du benchmark et applications d'entreprise

Le modèle OpenCUA de 32 milliards de paramètres a atteint une performance record parmi les solutions open-source sur les benchmarks vérifiés par OSWorld, tout en réduisant de manière significative l'écart avec les principaux systèmes propriétaires. Les principaux enseignements pour l'entreprise sont les suivants

• L'applicabilité du cadre à travers diverses architectures et échelles de modèles
• Forte généralisation à travers les plateformes et les types de tâches
• Efficacité particulière pour l'automatisation des flux de travail répétitifs

M. Wang a mis l'accent sur les difficultés de mise en œuvre : "Le déploiement dans le monde réel nécessite des mécanismes de sécurité robustes pour éviter les modifications involontaires du système ou les effets secondaires néfastes pendant l'exécution des tâches.

L'équipe de recherche a publié ouvertement tous les composants du cadre, y compris le code source, les ensembles de données et les poids des modèles. À mesure que les agents pilotés par OpenCUA progressent, ils peuvent transformer fondamentalement la dynamique du lieu de travail en permettant aux travailleurs humains de se concentrer sur les objectifs stratégiques tandis que l'IA s'occupe de l'exécution opérationnelle.