Los sistemas autónomos de inteligencia artificial ponen a prueba la gobernanza en entornos físicos

Los sistemas autónomos de IA se están extendiendo más allá de los entornos de software hacia almacenes, redes de reparto y espacios públicos. Este cambio plantea dudas sobre si la normativa vigente en materia de IA aborda adecuadamente los sistemas que operan en entornos físicos.

La mayoría de los marcos actuales de gobernanza de la IA se han centrado en los daños en línea y en los resultados de los modelos, como los sesgos, la desinformación y los contenidos nocivos. Los sistemas de IA incorporados plantean riesgos en entornos físicos, donde los fallos pueden afectar a las infraestructuras, a la propiedad o a la seguridad de las personas.

La Autoridad de Desarrollo de Infocomunicación y Medios de Singapur publicó el 20 de mayo la versión 1.5 de su Marco Modelo de Gobernanza de la IA para la IA Agente. El marco ofrece orientación a las organizaciones que implementan agentes de IA capaces de planificar, tomar decisiones y llevar a cabo acciones a lo largo de múltiples pasos para alcanzar los objetivos definidos por el usuario.

El marco señala que los agentes pueden interactuar con herramientas, sistemas externos y otros agentes, incluidos sistemas que actualizan bases de datos, escriben archivos, controlan dispositivos o ejecutan transacciones. Describe los controles de acceso, la supervisión y la aprobación humana como medidas de gobernanza para su implementación.

La IA se introduce en los sistemas físicos

En una cumbre sobre IA celebrada en Singapur la semana pasada, los debates sobre robótica e IA incorporada se centraron en cuestiones de seguridad operativa más comúnmente asociadas a la aviación, los sistemas industriales y la supervisión de infraestructuras críticas que a la regulación convencional del software.

Los ponentes también analizaron si los sistemas autónomos pueden funcionar de forma segura y fiable en entornos impredecibles del mundo real durante períodos prolongados.

El Dr. Ya-Qin Zhang, decano fundador del Instituto de Investigación Industrial en IA de la Universidad de Tsinghua, señaló que los sistemas de IA incorporada amplifican los riesgos ya presentes en el software autónomo. Afirmó que los fallos pueden afectar directamente a los sistemas de transporte, los drones, las redes logísticas y las infraestructuras críticas.

«Cualquier riesgo en el ámbito digital se amplificará en el ámbito físico, y el ámbito físico tendrá consecuencias físicas», declaró Zhang a MLex al margen de la cumbre.

Añadió que los vehículos, los drones, las redes inteligentes y otras infraestructuras podrían volverse vulnerables a medida que los sistemas de IA se integren más profundamente en las operaciones físicas.

Los ponentes destacaron la fiabilidad, la supervisión operativa y la garantía tras la implantación como cuestiones de gobernanza. Los debates de la cumbre apuntaron hacia modelos de gobernanza basados en la implantación y centrados en la simulación, la telemetría y las pruebas iterativas, en lugar de limitarse únicamente a una certificación puntual.

El marco de la IMDA también recomienda implementaciones graduales, una supervisión continua y pruebas adicionales tras la implementación. Señala que los agentes interactúan dinámicamente con su entorno y que no todos los riesgos pueden preverse antes del lanzamiento.

La supervisión se convierte en una cuestión de implementación

Grab, que está llevando a cabo una prueba piloto con vehículos autónomos y robots de reparto en el distrito de Punggol de Singapur, afirmó que la gobernanza del despliegue depende en gran medida de la simulación, las pruebas y la supervisión continua.

«Realizamos numerosas simulaciones y pruebas, tanto en circuitos cerrados como en circuitos abiertos, para asegurarnos de que nuestros robots sean fiables», afirmó Suthen Thomas Paradatheth, director de tecnología de Grab, durante una de las mesas redondas de la cumbre.

«Antes de ampliar a cientos de robots, nos aseguramos de que todo funcione a la perfección primero en la simulación y con unos pocos robots», añadió.

Grab también hizo hincapié en los sistemas de supervisión diseñados para realizar un seguimiento del rendimiento de los robots y detectar fallos inesperados tras su despliegue.

«Hay una larga lista de problemas que podrían surgir», señaló Paradatheth.

El marco de la IMDA establece que las organizaciones deben evaluar los casos de uso de la IA agentiva basándose en el acceso a los datos, el acceso a sistemas externos, la autonomía y la complejidad de las tareas. También hace hincapié en el alcance y la reversibilidad de las acciones de los agentes, la participación de terceros y la complejidad general del sistema.

Asimismo, recomienda limitar el acceso de los agentes a herramientas y sistemas, aplicar permisos de «privilegio mínimo» y definir procedimientos operativos estándar para los flujos de trabajo de los agentes. Las organizaciones también deben establecer mecanismos para desconectar a los agentes cuando presenten fallos de funcionamiento.

La responsabilidad se extiende a más actores

MLex informó de que los sistemas de IA incorporada pueden implicar a varias partes a lo largo del desarrollo, la fabricación y la implementación. Entre ellas se incluyen los desarrolladores de IA, los fabricantes de robótica, los proveedores de semiconductores y los operadores de infraestructuras.

MLex también señaló que la responsabilidad puede resultar más difícil de atribuir cuando los sistemas siguen adaptándose tras su implementación mediante actualizaciones de software, telemetría y datos operativos.

La IMDA afirma que las organizaciones y las personas siguen siendo responsables de las acciones de los agentes, incluso cuando estos operan de forma autónoma. El marco exige una responsabilidad clara a lo largo de toda la cadena de valor de la IA agentiva, desde los proveedores de modelos y plataformas hasta los responsables del despliegue, los proveedores de herramientas y los usuarios finales.

Applied Materials señaló que el despliegue de la robótica a gran escala también está vinculado a la economía de los semiconductores y a la integración de sistemas. Om Nalamasu, director de tecnología de la empresa, afirmó que los sistemas robóticos dependerán de mejores sensores, eficiencia energética, encapsulado avanzado y arquitecturas informáticas.

Nalamasu señaló que los sistemas robóticos requerirán diseños específicos adaptados a ecosistemas industriales concretos, en lugar de una solución única para todos los entornos.

Zhao Yuli, director de estrategia de la startup china de robótica Galbot, señaló que Pekín está dando prioridad a la escala de implantación y a la comercialización industrial a través de bancos de pruebas respaldados por el Gobierno, alianzas industriales e iniciativas de financiación a largo plazo.

Galbot ha implantado sistemas de robótica humanoide en operaciones minoristas, de almacén y farmacéuticas en China. Entre ellas se incluyen tiendas autónomas que funcionan las 24 horas del día. Zhao señaló que es probable que los entornos industriales semiestructurados se conviertan en una vía de comercialización temprana, ya que ofrecen condiciones de funcionamiento más controlables.

Japón está prestando mayor atención al establecimiento de normas, a los conjuntos de datos robóticos y a la gobernanza de la seguridad. El profesor Yutaka Matsuo, de la Escuela de Posgrado de Ingeniería de la Universidad de Tokio, señaló un proyecto de la «Asociación de IA» destinado a recopilar 100 000 horas de datos robóticos para respaldar los modelos básicos de robótica.

Matsuo también se refirió al Instituto de Seguridad de la IA de Japón y al «Proceso de Hiroshima sobre IA» como parte de unos esfuerzos más amplios para desarrollar normas de gobernanza para los sistemas de IA incorporados, en colaboración con Singapur y otros países asiáticos.

Singapur establece controles para los agentes

El marco de Singapur esboza cuatro áreas de gobernanza para la IA con capacidad de agencia. Estas abarcan la evaluación inicial de riesgos, la rendición de cuentas humana, los controles técnicos y la responsabilidad del usuario final. El marco las describe como un proceso iterativo, más que como una evaluación puntual.

El marco señala que la supervisión humana debe adaptarse a los sistemas con agentes, ya que la revisión continua de todos los flujos de trabajo resulta poco práctica a gran escala. Recomienda la aprobación humana en puntos de control significativos, incluyendo acciones de alto riesgo, acciones irreversibles y comportamientos atípicos.

La IMDA también identifica el sesgo de automatización y la fatiga por alertas como riesgos cuando los seres humanos supervisan a agentes capaces. Recomienda auditar la supervisión mediante indicadores como las tasas de anulación por parte de los seres humanos y los tiempos de respuesta, así como utilizar la monitorización automatizada en tiempo real para señalar comportamientos inesperados.

El marco establece que se debe informar a los usuarios sobre las acciones que puede llevar a cabo un agente, a qué datos puede acceder y qué responsabilidades siguen recayendo en el usuario. También recomienda la formación de los empleados en materia de interacción entre humanos y agentes, supervisión y las competencias profesionales necesarias para evaluar los resultados de los agentes.

Las empresas prueban la IA en flujos de trabajo regulados

JPMorgan está implementando herramientas de IA en todo su negocio de banca de inversión a nivel mundial, según declaró a Reuters Paul Uren, director de banca de inversión para Asia-Pacífico del banco. El banco afirmó que las herramientas ayudan a los banqueros a acceder a más información y a integrarla con los sistemas internos. También se están utilizando para preparar contenidos y facilitar la interacción con los clientes.

El director ejecutivo de JPMorgan, Jamie Dimon, declaró a Bloomberg News que el banco contrataría a más especialistas en IA y a menos banqueros tradicionales. Reuters informó de que los bancos globales están aumentando la inversión en IA, reestructurando su plantilla y modificando las funciones de los puestos de trabajo.

El banco también figura entre las organizaciones seleccionadas a las que Anthropic ha autorizado a utilizar su modelo de ciberseguridad Mythos en el marco de una iniciativa controlada conocida como «Project Glasswing». Según Anthropic, Mythos puede detectar vulnerabilidades antiguas en navegadores, infraestructuras y software.

Reuters informó de que Goldman Sachs, Citigroup, Bank of America y Morgan Stanley también tienen acceso a Mythos o lo están probando, citando fuentes y directivos de las empresas.

El marco de la IMDA incluye un estudio de caso del OCBC Bank de Singapur sobre el análisis del origen de la riqueza. El sistema analiza documentos relacionados con los ingresos y redacta un informe sobre el origen de la riqueza. No toma decisiones de crédito, de incorporación de clientes ni de riesgo de forma autónoma.

En este caso, el flujo de trabajo se limita a la autonomía a nivel de tareas y solo opera cuando lo activan flujos de trabajo predefinidos. Se requiere una revisión humana en los puntos críticos de decisión, y la validación final recae en revisores designados.

Los robots se incorporan al uso industrial

En Japón, un tercio de las empresas ya utiliza o está considerando utilizar robots basados en IA, según una encuesta de Reuters realizada por Nikkei Research entre el 1 y el 15 de mayo. La encuesta se dirigió a 492 empresas, de las cuales 220 respondieron bajo condición de anonimato.

Alrededor del 4 % de los encuestados afirmó que ya utiliza robots con IA, el 5 % tiene previsto implantarlos y el 25 % está considerando hacerlo. El 66 % restante afirmó que no tenía planes en ese sentido.

Los fabricantes de equipos de transporte fueron el grupo más activo en la encuesta, ya que el 80 % ya utiliza robots con IA o está considerando su implantación. En comparación, el 94 % de los encuestados del sector mayorista afirmó no tener planes de implantar robots con IA.

Entre las empresas que utilizan, tienen previsto utilizar o están considerando la posibilidad de utilizar robots con IA, el 71 % seleccionó la fabricación como caso de uso. Otro 19 % seleccionó las tareas peligrosas, mientras que el 11 % se decantó por los servicios de atención al cliente.

El Gobierno japonés espera que los robots con IA ayuden a paliar la escasez crónica de mano de obra del país y refuercen su posición en el ámbito de la robótica industrial. Japón es sede de empresas de robótica como Fanuc, Yaskawa Electric y Kawasaki Heavy Industries, pero se enfrenta a la competencia de China y Estados Unidos en el ámbito de la robótica basada en la IA.

Los agentes minoristas van más allá de la búsqueda

Walmart ha esbozado planes para utilizar la IA «agente» en los flujos de trabajo relacionados con las compras, los empleados, los proveedores y los desarrolladores.

En julio de 2025, la cadena minorista anunció planes para cuatro «superagentes» impulsados por IA. Están diseñados para compradores, empleados de tienda, proveedores y vendedores, así como para desarrolladores de software. Walmart afirmó que estos agentes se convertirían en el principal punto de entrada para las interacciones con la IA en todos esos grupos.

Una de las herramientas, Sparky, ya está disponible en la aplicación de Walmart como asistente de compras generativo impulsado por IA. Hari Vasudev, director de tecnología de Walmart en EE. UU., afirmó que su versión ampliada sería capaz de reponer artículos y planificar eventos. También utilizaría visión artificial para sugerir recetas basadas en el contenido de la nevera del comprador.

Walmart también está desarrollando un «superagente» denominado «Associate» para los trabajadores de las tiendas y el personal corporativo. Se está creando otro agente, llamado «Marty», destinado a vendedores, proveedores y anunciantes. La empresa minorista también está trabajando en un «superagente» para desarrolladores, destinado a probar, crear y lanzar futuras herramientas de IA.

La empresa se ha negado a confirmar si los agentes sustituirán puestos de trabajo. Dave Glick, vicepresidente sénior de sistemas empresariales, afirmó que las herramientas crearían nuevos puestos de trabajo, sin dar más detalles.

Véase también: OpenAI inaugura un laboratorio de IA en Singapur mientras la IMDA actualiza su marco normativo sobre IA

¿Quieres saber más sobre la IA y el big data de la mano de líderes del sector? Echa un vistazo a la AI & Big Data Expo, que tendrá lugar en Ámsterdam, California y Londres. Este evento integral forma parte de TechEx y se celebra junto con otros eventos tecnológicos destacados; haz clic aquí para obtener más información.

AI News es una iniciativa de TechForge Media. Descubre aquí otros próximos eventos y seminarios web sobre tecnología empresarial.