Alibaba presenta Qwen-UI-Agent, un modelo base multimodal del mundo real
Alibaba ha presentado oficialmente Qwen-UI-Agent, un modelo base para agentes de interfaz gráfica de usuario (GUI) diseñado para funcionar en entornos reales. Este modelo, que abarca entornos móviles, de escritorio, web y de búsqueda avanzada, va más allá de las pruebas de simulación tradicionales para funcionar a la perfección en dispositivos físicos complejos.

Un rendimiento que supera al de los líderes del sector
Qwen-UI-Agent ha demostrado unas capacidades excepcionales tanto en pruebas de referencia de prestigio como en entornos reales:
Rendimiento en dispositivos móviles: ha alcanzado una impresionante puntuación del 82,1 % en MobileWorld, superando a varios de los principales modelos insignia internacionales. En su prueba de referencia personalizada, MobileWorld-Real, que incluye más de 100 dispositivos reales, la tasa de éxito alcanzó el 92,2 %, con resultados casi perfectos en las tareas diarias de Android. Rendimiento en ordenadores de sobremesa: con una puntuación del 79,5 % en OSWorld-Verified, el modelo redujo significativamente los pasos de ejecución en múltiples tareas en comparación con los modelos de referencia.Capacidades web y generales: ocupó el primer puesto en la prueba web WebArena entre todos los modelos comparados. Sus capacidades generales y de agencia superan a las del modelo de entrenamiento base, lo que le permite gestionar con facilidad las solicitudes de cola larga.Salvar la brecha entre la simulación y la realidad
Para cerrar la brecha entre la simulación y la aplicación en el mundo real, Qwen-UI-Agent utiliza un entorno móvil en vivo con más de 100 teléfonos físicos y más de 150 aplicaciones. Esta configuración permite la creación de tareas, la recopilación de trayectorias y el entrenamiento de modelos. El equipo también presentó MobileWorld-Real, un banco de pruebas con dispositivos reales que incluye más de 400 tareas, lo que permite una selección precisa de modelos basada en el rendimiento real de los dispositivos.

Instrucciones optimizadas y seguridad robusta
Más allá de las operaciones estándar de la interfaz gráfica de usuario, el modelo puede ejecutar comandos de línea de comandos directamente. Al generar acciones por lotes en una sola decisión, acorta las trayectorias de ejecución y aumenta la eficiencia. Se ha integrado un mecanismo de seguridad integral en todo el proceso: el modelo rechaza y cancela las tareas que impliquen solicitudes ilegales o de alto riesgo. En el caso de acciones delicadas, como pagos, eliminación de datos o autorizaciones de privacidad, se detiene en los pasos críticos para esperar la confirmación del usuario.
Además, el modelo admite el aprendizaje por refuerzo en línea en trayectorias que superan los 100 pasos. En combinación con el aprendizaje por plan de estudios adaptativo, mejora continuamente su capacidad para abordar tareas complejas a largo plazo.
Página web del proyecto: https://tongyi-mai.github.io/Qwen-UI-Agent/
Artículo relacionado
OpenAI atrae a banqueros de Wall Street con grandes remuneraciones y participación accionarial para reconfigurar las finanzas
OpenAI está intensificando su impulso hacia la banca de inversión, con ofertas de empleo recientes que revelan una búsqueda de profesionales de la inversión con más de dos años de experiencia para unirse a su equipo de inteligencia artificial aplicad
Cinco departamentos lanzan el plan de Educación + IA para desarrollar MOOCs de IA en todas las etapas académicas
El 10 de abril, el Ministerio de Educación, la Comisión Nacional de Desarrollo y Reforma, el Ministerio de Industria y Tecnología de la Información, el Ministerio de Ciencia y Tecnología y la Administración Nacional de Datos publicaron conjuntamente
El lanzamiento global de la campaña de campus de Seed de ByteDance ofrece acciones virtuales para captar a los mejores talentos en modelos grandes
En el competitivo panorama de los modelos de lenguaje grandes, asegurar el talento de primer nivel sigue siendo el activo estratégico más crítico.El 1 de abril, ByteDance anunció el lanzamiento de su iniciativa global de reclutamiento de campus Seed
Recomendaciones de temas especiales relacionados
comentario (0)
0/500
Alibaba ha presentado oficialmente Qwen-UI-Agent, un modelo base para agentes de interfaz gráfica de usuario (GUI) diseñado para funcionar en entornos reales. Este modelo, que abarca entornos móviles, de escritorio, web y de búsqueda avanzada, va más allá de las pruebas de simulación tradicionales para funcionar a la perfección en dispositivos físicos complejos.

Un rendimiento que supera al de los líderes del sector
Qwen-UI-Agent ha demostrado unas capacidades excepcionales tanto en pruebas de referencia de prestigio como en entornos reales:
Rendimiento en dispositivos móviles: ha alcanzado una impresionante puntuación del 82,1 % en MobileWorld, superando a varios de los principales modelos insignia internacionales. En su prueba de referencia personalizada, MobileWorld-Real, que incluye más de 100 dispositivos reales, la tasa de éxito alcanzó el 92,2 %, con resultados casi perfectos en las tareas diarias de Android. Rendimiento en ordenadores de sobremesa: con una puntuación del 79,5 % en OSWorld-Verified, el modelo redujo significativamente los pasos de ejecución en múltiples tareas en comparación con los modelos de referencia.Capacidades web y generales: ocupó el primer puesto en la prueba web WebArena entre todos los modelos comparados. Sus capacidades generales y de agencia superan a las del modelo de entrenamiento base, lo que le permite gestionar con facilidad las solicitudes de cola larga.Salvar la brecha entre la simulación y la realidad
Para cerrar la brecha entre la simulación y la aplicación en el mundo real, Qwen-UI-Agent utiliza un entorno móvil en vivo con más de 100 teléfonos físicos y más de 150 aplicaciones. Esta configuración permite la creación de tareas, la recopilación de trayectorias y el entrenamiento de modelos. El equipo también presentó MobileWorld-Real, un banco de pruebas con dispositivos reales que incluye más de 400 tareas, lo que permite una selección precisa de modelos basada en el rendimiento real de los dispositivos.

Instrucciones optimizadas y seguridad robusta
Más allá de las operaciones estándar de la interfaz gráfica de usuario, el modelo puede ejecutar comandos de línea de comandos directamente. Al generar acciones por lotes en una sola decisión, acorta las trayectorias de ejecución y aumenta la eficiencia. Se ha integrado un mecanismo de seguridad integral en todo el proceso: el modelo rechaza y cancela las tareas que impliquen solicitudes ilegales o de alto riesgo. En el caso de acciones delicadas, como pagos, eliminación de datos o autorizaciones de privacidad, se detiene en los pasos críticos para esperar la confirmación del usuario.
Además, el modelo admite el aprendizaje por refuerzo en línea en trayectorias que superan los 100 pasos. En combinación con el aprendizaje por plan de estudios adaptativo, mejora continuamente su capacidad para abordar tareas complejas a largo plazo.
Página web del proyecto: https://tongyi-mai.github.io/Qwen-UI-Agent/
OpenAI atrae a banqueros de Wall Street con grandes remuneraciones y participación accionarial para reconfigurar las finanzas
OpenAI está intensificando su impulso hacia la banca de inversión, con ofertas de empleo recientes que revelan una búsqueda de profesionales de la inversión con más de dos años de experiencia para unirse a su equipo de inteligencia artificial aplicad
Cinco departamentos lanzan el plan de Educación + IA para desarrollar MOOCs de IA en todas las etapas académicas
El 10 de abril, el Ministerio de Educación, la Comisión Nacional de Desarrollo y Reforma, el Ministerio de Industria y Tecnología de la Información, el Ministerio de Ciencia y Tecnología y la Administración Nacional de Datos publicaron conjuntamente
El lanzamiento global de la campaña de campus de Seed de ByteDance ofrece acciones virtuales para captar a los mejores talentos en modelos grandes
En el competitivo panorama de los modelos de lenguaje grandes, asegurar el talento de primer nivel sigue siendo el activo estratégico más crítico.El 1 de abril, ByteDance anunció el lanzamiento de su iniciativa global de reclutamiento de campus Seed





Hogar






