Alibaba a lancé Qwen-UI-Agent, un modèle de base d’agent d’interface graphique (GUI) conçu pour une utilisation en conditions réelles. Il fonctionne sur les plateformes mobiles, de bureau, Web et de recherche approfondie, dépassant ainsi les limites des tests de simulation traditionnels en opérant directement sur des appareils réels complexes. Ce modèle surpasse les principaux modèles phares internationaux lors de nombreux tests, obtenant des scores supérieurs à 80 % lors des tests mobiles et se classant en première position lors du test WebArena. Il propose également un benchmark sur appareils réels comprenant plus de 400 tâches et prend en charge l'exécution de commandes par lots pour améliorer l'efficacité. Le système intègre un mécanisme de sécurité qui rejette les requêtes illégales et met en pause les opérations sensibles pour obtenir la confirmation de l’utilisateur. Il peut bénéficier d’un apprentissage par renforcement en ligne pour les tâches à long terme grâce à un programme de formation adaptatif. Le projet est disponible via le lien fourni.