Los agentes de IA de código abierto de OpenCUA desafían los modelos propietarios de OpenAI y Anthropic

Investigadores de la Universidad de Hong Kong (HKU) e instituciones asociadas han desarrollado un innovador marco de código abierto denominado OpenCUA que sienta unas bases sólidas para construir agentes de IA capaces de manejar ordenadores. Este completo conjunto de herramientas proporciona componentes esenciales para ampliar el desarrollo de agentes de uso informático (CUA), incluidas herramientas especializadas, amplios conjuntos de datos de entrenamiento y metodologías probadas.

Las evaluaciones iniciales demuestran que los modelos entrenados con OpenCUA logran un rendimiento superior en las pruebas de referencia CUA en comparación con otras soluciones de código abierto, al tiempo que rivalizan con los sistemas patentados de líderes del sector como OpenAI y Anthropic.

El complejo reto de desarrollar agentes de uso informático

Los agentes de uso informático representan una clase transformadora de IA diseñada para ejecutar de forma autónoma tareas digitales que van desde la simple navegación web hasta el manejo de software complejo. Estos sistemas inteligentes encierran un enorme potencial para la automatización del flujo de trabajo empresarial, pero la mayoría de los CUA avanzados siguen siendo cajas negras patentadas.

"La falta de transparencia de las CUA comerciales restringe el progreso técnico y plantea importantes consideraciones de seguridad", señala el equipo de investigación en su trabajo publicado. "La comunidad científica requiere marcos verdaderamente abiertos para investigar adecuadamente las capacidades, limitaciones y riesgos potenciales".

Las actuales iniciativas de código abierto se enfrentan a importantes obstáculos, entre ellos

• Infraestructura insuficiente para la recopilación de datos diversos a gran escala.
• Disponibilidad limitada de conjuntos de datos de calidad sobre la interacción con la interfaz gráfica de usuario.
• Documentación inadecuada que dificulta la reproducción de la investigación.

Como explica el documento: "Estas limitaciones impiden colectivamente el avance en CUA de propósito general e impiden la exploración exhaustiva de su escalabilidad, capacidad de generalización y enfoques de aprendizaje óptimos."

Presentación del marco OpenCUA

El marco OpenCUA presenta una solución integrada que aborda tanto la recogida de datos como los retos de la formación de modelos. Su componente central es AgentNet Tool, un software especializado que captura interacciones detalladas entre humanos y ordenadores en múltiples sistemas operativos.

Esta innovadora herramienta funciona discretamente en segundo plano, grabando:

• Vídeos de actividad en pantalla
• Entradas precisas de ratón/teclado
• Estructuras de árbol de accesibilidad que definen los elementos en pantalla

Los investigadores procesaron estos datos de interacción sin procesar en "trayectorias de estado-acción" refinadas que emparejan las capturas de pantalla del ordenador con las acciones correspondientes del usuario. El conjunto de datos AgentNet resultante comprende más de 22.600 demostraciones de tareas en entornos Windows, macOS y Ubuntu con más de 200 aplicaciones y sitios web diferentes.

Xinyuan Wang, investigador doctoral de la HKU y coautor del estudio, destacó sus rigurosas protecciones de la privacidad: "Implementamos un marco de seguridad de múltiples capas que permite a los anotadores visibilidad y control totales sobre sus envíos, seguido de verificación manual y escaneo automatizado de contenido sensible antes de la liberación de datos."

Metodología de formación innovadora

El marco introduce un novedoso proceso de tratamiento de datos que combina pares estado-acción depurados con un razonamiento estructurado de cadena de pensamiento. Este enfoque genera "monólogos cognitivos" detallados para cada acción que comprenden:

1. Observaciones de pantalla de alto nivel
2. Análisis y planificación estratégicos
3. Instrucciones ejecutables precisas

Según Wang, las empresas pueden adaptar este proceso para entrenar agentes especializados para sistemas propios registrando los flujos de trabajo internos y aplicando el mismo marco de razonamiento. "Esto permite a las organizaciones desarrollar agentes personalizados de alto rendimiento sin necesidad de crear manualmente trazas de razonamiento", explicó.

Rendimiento de referencia y aplicaciones empresariales

El modelo OpenCUA, con 32.000 millones de parámetros, alcanzó un rendimiento récord entre las soluciones de código abierto en las pruebas de referencia verificadas por OSWorld, al tiempo que redujo significativamente la diferencia con los principales sistemas propietarios. Las principales conclusiones para la empresa son:

• Aplicabilidad del marco en diversas arquitecturas y escalas de modelos
• Gran generalización entre plataformas y tipos de tareas
• Especial eficacia para automatizar flujos de trabajo repetitivos.

Wang destacó los retos de la implantación: "El despliegue en el mundo real requiere mecanismos de seguridad robustos para evitar modificaciones no intencionadas del sistema o efectos secundarios perjudiciales durante la ejecución de las tareas".

El equipo de investigación ha publicado abiertamente todos los componentes del marco, incluidos el código fuente, los conjuntos de datos y las ponderaciones de los modelos. A medida que avancen los agentes basados en OpenCUA, podrían transformar radicalmente la dinámica del lugar de trabajo al permitir que los trabajadores humanos se centren en objetivos estratégicos mientras la IA se encarga de la ejecución operativa.