Alibaba dévoile Qwen-UI-Agent, un modèle de base multimodal adapté au monde réel
Alibaba a officiellement présenté Qwen-UI-Agent, un modèle de base destiné aux agents d’interface graphique (GUI) et conçu pour fonctionner dans des environnements réels. Couvrant les environnements mobiles, de bureau, Web et de recherche approfondie, ce modèle va au-delà des tests de simulation traditionnels pour fonctionner de manière transparente sur des appareils physiques complexes.

Des performances qui surpassent celles des leaders du secteur
Qwen-UI-Agent a démontré des capacités exceptionnelles tant dans le cadre de benchmarks de référence que dans des environnements réels :
Performances sur mobile : il a obtenu un score impressionnant de 82,1 % dans MobileWorld, surpassant plusieurs grands modèles phares internationaux. Dans son benchmark personnalisé, MobileWorld-Real, qui implique plus de 100 appareils réels, le taux de réussite a atteint 92,2 %, avec des résultats quasi parfaits dans les tâches quotidiennes sous Android. Performances sur ordinateur de bureau : avec un score de 79,5 % dans OSWorld-Verified, le modèle a considérablement réduit le nombre d’étapes d’exécution sur plusieurs tâches par rapport aux modèles de référence.Capacités web et générales : il s’est classé premier au test WebArena parmi tous les modèles comparés. Ses capacités générales et agentiques dépassent celles du modèle d’entraînement de base, ce qui lui permet de traiter facilement les requêtes de longue traîne.Combler le fossé entre la simulation et la réalité
Pour combler le fossé entre la simulation et l’application dans le monde réel, Qwen-UI-Agent utilise un environnement mobile en temps réel comprenant plus de 100 téléphones physiques et plus de 150 applications. Cette configuration prend en charge la création de tâches, la collecte de trajectoires et l’entraînement des modèles. L’équipe a également lancé MobileWorld-Real, un benchmark sur appareils réels comprenant plus de 400 tâches, permettant une sélection précise des modèles en fonction des performances réelles des appareils.

Instructions simplifiées et sécurité renforcée
Au-delà des opérations standard de l’interface graphique, le modèle peut exécuter directement des commandes en ligne de commande. En générant des actions par lots en une seule décision, il raccourcit les trajectoires d’exécution et améliore l’efficacité. Un mécanisme de sécurité complet est intégré tout au long du processus : le modèle refuse et interrompt les tâches impliquant des requêtes illégales ou à haut risque. Pour les actions sensibles telles que les paiements, la suppression de données ou les autorisations relatives à la vie privée, il marque une pause aux étapes critiques pour attendre la confirmation de l’utilisateur.
De plus, le modèle prend en charge l’apprentissage par renforcement en ligne sur des trajectoires dépassant 100 étapes. Combiné à un apprentissage par programme adaptatif, il améliore en permanence sa capacité à mener à bien des tâches complexes à long terme.
Page d’accueil du projet : https://tongyi-mai.github.io/Qwen-UI-Agent/
Article connexe
Suno appose des filigranes aux chansons dans le cadre de batailles juridiques
Suno, la plateforme permettant aux utilisateurs de générer de la musique créée par l’intelligence artificielle, a dévoilé de nouvelles fonctionnalités pour étiqueter les titres produits sur la plateforme, restreindre les téléchargements et mettre à j
Musk admet que la construction de Grok a divulgué le code utilisateur, promet d’effacer toutes les données historiques
Elon Musk a abordé directement la controverse sur la vie privée concernant Grok Build, en commençant par un simple « Vrai » pour confirmer la validité de l’incident. Il s’est engagé à ce que toutes les données utilisateur précédemment téléchargées su
Les actions américaines atteignent un jalon historique alors que les géants de l'IA et de l'aérospatiale se préparent pour leur entrée boursière à la valeur du trillion de dollars.
Elon Musk, Sam Altman et Dario Amodei, trois titans du secteur technologique, s’approchent des introductions en bourse de leurs entreprises respectives. Avec SpaceX, OpenAI et Anthropic – trois géants de l’industrie dont les valorisations approchent
Recommandations de sujets spéciaux liés
commentaires (0)
Alibaba a officiellement présenté Qwen-UI-Agent, un modèle de base destiné aux agents d’interface graphique (GUI) et conçu pour fonctionner dans des environnements réels. Couvrant les environnements mobiles, de bureau, Web et de recherche approfondie, ce modèle va au-delà des tests de simulation traditionnels pour fonctionner de manière transparente sur des appareils physiques complexes.

Des performances qui surpassent celles des leaders du secteur
Qwen-UI-Agent a démontré des capacités exceptionnelles tant dans le cadre de benchmarks de référence que dans des environnements réels :
Performances sur mobile : il a obtenu un score impressionnant de 82,1 % dans MobileWorld, surpassant plusieurs grands modèles phares internationaux. Dans son benchmark personnalisé, MobileWorld-Real, qui implique plus de 100 appareils réels, le taux de réussite a atteint 92,2 %, avec des résultats quasi parfaits dans les tâches quotidiennes sous Android. Performances sur ordinateur de bureau : avec un score de 79,5 % dans OSWorld-Verified, le modèle a considérablement réduit le nombre d’étapes d’exécution sur plusieurs tâches par rapport aux modèles de référence.Capacités web et générales : il s’est classé premier au test WebArena parmi tous les modèles comparés. Ses capacités générales et agentiques dépassent celles du modèle d’entraînement de base, ce qui lui permet de traiter facilement les requêtes de longue traîne.Combler le fossé entre la simulation et la réalité
Pour combler le fossé entre la simulation et l’application dans le monde réel, Qwen-UI-Agent utilise un environnement mobile en temps réel comprenant plus de 100 téléphones physiques et plus de 150 applications. Cette configuration prend en charge la création de tâches, la collecte de trajectoires et l’entraînement des modèles. L’équipe a également lancé MobileWorld-Real, un benchmark sur appareils réels comprenant plus de 400 tâches, permettant une sélection précise des modèles en fonction des performances réelles des appareils.

Instructions simplifiées et sécurité renforcée
Au-delà des opérations standard de l’interface graphique, le modèle peut exécuter directement des commandes en ligne de commande. En générant des actions par lots en une seule décision, il raccourcit les trajectoires d’exécution et améliore l’efficacité. Un mécanisme de sécurité complet est intégré tout au long du processus : le modèle refuse et interrompt les tâches impliquant des requêtes illégales ou à haut risque. Pour les actions sensibles telles que les paiements, la suppression de données ou les autorisations relatives à la vie privée, il marque une pause aux étapes critiques pour attendre la confirmation de l’utilisateur.
De plus, le modèle prend en charge l’apprentissage par renforcement en ligne sur des trajectoires dépassant 100 étapes. Combiné à un apprentissage par programme adaptatif, il améliore en permanence sa capacité à mener à bien des tâches complexes à long terme.
Page d’accueil du projet : https://tongyi-mai.github.io/Qwen-UI-Agent/
Suno appose des filigranes aux chansons dans le cadre de batailles juridiques
Suno, la plateforme permettant aux utilisateurs de générer de la musique créée par l’intelligence artificielle, a dévoilé de nouvelles fonctionnalités pour étiqueter les titres produits sur la plateforme, restreindre les téléchargements et mettre à j
Musk admet que la construction de Grok a divulgué le code utilisateur, promet d’effacer toutes les données historiques
Elon Musk a abordé directement la controverse sur la vie privée concernant Grok Build, en commençant par un simple « Vrai » pour confirmer la validité de l’incident. Il s’est engagé à ce que toutes les données utilisateur précédemment téléchargées su
Les actions américaines atteignent un jalon historique alors que les géants de l'IA et de l'aérospatiale se préparent pour leur entrée boursière à la valeur du trillion de dollars.
Elon Musk, Sam Altman et Dario Amodei, trois titans du secteur technologique, s’approchent des introductions en bourse de leurs entreprises respectives. Avec SpaceX, OpenAI et Anthropic – trois géants de l’industrie dont les valorisations approchent





Maison






