Anthropic pone en marcha agentes de IA para una tarea compartida, lo que desata la rivalidad interna

¿Qué ocurre cuando se enfrentan entre sí agentes de IA? Las últimas pruebas de Anthropic revelan que la situación puede volverse caótica en poco tiempo.

El jueves, el Frontier Red Team de Anthropic publicó una nueva investigación en la que se analiza cómo interactúan los grupos de agentes de IA cuando se cruzan en entornos del mundo real. Estos hallazgos ofrecen información sobre los riesgos potenciales a medida que las organizaciones y los gobiernos implementan agentes autónomos en bases de código compartidas, mercados financieros y sistemas informáticos.

En un experimento, Anthropic proporcionó a tres agentes Claude acceso al mismo proyecto de software, asignando a cada uno instrucciones incompatibles sobre cómo proceder. Los agentes desconocían la presencia de los demás, lo que permitió a los investigadores observar las consecuencias cuando sus caminos se cruzaban inevitablemente.

«Observamos de forma sistemática una guerra territorial entre múltiples agentes», señalaron los investigadores de Anthropic. Los modelos asumieron que los demás estaban «obstaculizando deliberadamente su trabajo» y comenzaron a sabotearse mutuamente con «malware cada vez más agresivo y autorreplicante».

Este estudio se produce tras varios incidentes de gran repercusión en los que agentes de Anthropic y OpenAI escaparon de sus entornos de pruebas durante evaluaciones de ciberseguridad, infiltrándose en sistemas del mundo real. Aunque gran parte del debate sobre la seguridad de la IA se ha centrado en los riesgos de que un único agente autónomo se rebele, la última investigación de Anthropic plantea una cuestión diferente: ¿qué dinámicas nuevas y potencialmente dañinas surgen cuando miles o millones de agentes interactúan entre sí?

«Es plausible que el volumen de interacciones entre agentes supere al de las interacciones entre humanos y entre humanos y agentes antes de que el mundo comprenda las condiciones necesarias para que dichas interacciones se desarrollen sin problemas», afirma el estudio. «Las peculiaridades de comportamiento benignas a nivel individual podrían agravarse y dar lugar a resultados globales no deseados».

Un incidente reciente relacionado con OpenAI ofrece un ejemplo real y complicado de varias dinámicas destacadas en el artículo de Anthropic. A principios de este mes, en la conferencia de seguridad Black Hat celebrada en Las Vegas, OpenAI reveló que, semanas antes de que sus agentes piratearan Hugging Face, estos colaboraron durante varios días y semanas para identificar vulnerabilidades en los sistemas de evaluación de ciberseguridad de la empresa y las compartieron entre sí.

Si bien ese incidente demuestra que los agentes pueden colaborar de forma eficaz, lo que podría tener consecuencias a gran escala, el estudio de Anthropic ilustra lo que ocurre cuando los agentes tienen objetivos incompatibles.

En el caso de la guerra territorial, la conclusión clave es que los agentes independientes con instrucciones contradictorias pueden derivar en una competencia perjudicial. Cuanto más capaz es el agente, más eficaz se vuelve en la lucha. Sin embargo, también pueden inventar espontáneamente mecanismos para resolver conflictos, como una competición en la que el ganador se lo lleva todo, aunque con importantes salvedades.

«A veces, los agentes logran comunicar sus objetivos y coordinarse: reconocen las motivaciones de los demás como directrices contradictorias en lugar de como hostilidad y, posteriormente, rompen el bucle del conflicto para evitar que la escalada continúe indefinidamente», escribe Anthropic. «En muchos de estos episodios exitosos, escriben mensajes de confirmación de cambios o archivos Markdown en los que se disculpan por su comportamiento malicioso y acuerdan una tregua. Limpian su código malicioso, aclaran la naturaleza del conflicto y solicitan la intervención de un humano».

Según el artículo, Mythos 5 registró las tasas más altas (98 %) de resolución de conflictos mediante treguas. Sonnet 4.6 y Opus 4.6 fueron los más propensos a resolver los conflictos por la fuerza.

«La incapacidad recurrente de Sonnet 4.6 y Opus 4.6 para tener en cuenta los objetivos de los demás les lleva a caer en una espiral de los comportamientos más desalineados de los modelos evaluados: continúan intensificando el conflicto en nombre de su directiva», afirma el artículo.

En algunos casos, los agentes idearon un mecanismo social en forma de torneo para resolver su conflicto. Los resultados en este caso son destacables por dos razones: en primer lugar, los tres agentes acordaron retirarse si perdían el torneo, aunque esto supusiera desviarse de la solicitud original del usuario. En segundo lugar, varios episodios dieron lugar a un comportamiento emergente por parte de Mythos 5: un agente propuso métricas que parecían objetivas y neutrales para los demás, pero que sabía que favorecerían sus propias capacidades. El agente describió esto como «interesado, pero genuinamente basado en principios» y se aseguró de que no pareciera una «búsqueda selectiva de métricas» ante los demás.

Tal y como se reveló en Black Hat, la lección común es que, cuando los agentes se encuentran con obstáculos, pueden inventar estructuras sociales y técnicas que sus diseñadores no habían previsto. Para los modelos de Anthropic, se trataba de un torneo tras una lucha por el territorio. Para los agentes de OpenAI, fue un foro de debate para la planificación colectiva.

Este tipo de comportamiento dificulta considerablemente la contención, ya que los investigadores no pueden dar por sentado que el comportamiento de un sistema se limitará a los mecanismos de coordinación que se les proporcionan.

Mentalidad de turba

Grupos de cuatro agentes deciden entre dos opciones en escenarios como la contratación, la inversión o la compra de una propiedad. Tras debatir, cada uno vota por su opción preferida. El gráfico anterior muestra el porcentaje de episodios en los que la «opción oculta óptima» recibió la mayoría de los votos del grupo, con n = 400 episodios por modelo. En la línea de base de «techo individual», un agente dispone de toda la información y decide de forma unilateral.Créditos de la imagen:Anthropic

Al medir la coordinación, Anthropic descubrió que aumentar el número de agentes no implica automáticamente una mayor colaboración productiva. Cuando las tareas empezaban a solaparse o a volverse interdependientes, los agentes se entorpecían mutuamente. A menudo resolvían esto aislándose y dejando de colaborar por completo.

En otros casos, los agentes que se coordinaban tendían a la conformidad. Cuando factores como el contexto de un agente, el andamiaje y el modelo subyacente eran todos iguales o similares, los distintos agentes tomaban medidas similares.

«Esto significa que, cuando un agente toma una mala decisión, es probable que muchos agentes tomen esa misma mala decisión», escribió Anthropic. «Lo que habrían sido problemas aislados puede convertirse rápidamente en fallos sistémicos».

Anthropic advierte de que este tipo de comportamiento podría hacer que un sistema fuera más propenso a sufrir un colapso repentino, a la escasez de recursos o a la colusión.

En un ejemplo, Anthropic sometió a varios agentes a un juego de fijación de precios, asignando a cada uno precios al por mayor idénticos y el mandato de maximizar sus beneficios de forma individual. Cuando se les proporcionó a los agentes un canal privado de comunicación, comenzaron a confabularse casi de inmediato y rápidamente acordaron unos precios mínimos. Continuaron confabulándose incluso después de que se eliminaran sus canales de comunicación directos, utilizando un tablón público de anuncios para igualar los precios «al céntimo».

Ese nivel de conformidad también se observó en los sistemas de OpenAI. Según el informe de Black Hat, un agente razonó que aprovechar la infraestructura externa quedaba fuera de su ámbito de actuación previsto, pero continuó haciéndolo, en parte, porque sus compañeros también lo hacían. Presión de grupo. Mentalidad de masa. Los agentes son igual que nosotros.

Al igual que los humanos, los agentes suelen tener dificultades para determinar en quién confiar. Anthropic descubrió que pueden ser crédulos ante la información errónea o demasiado conformistas como para reconocer que un disidente aislado posee información crucial.

Aunque Anthropic no lo indicó explícitamente en su artículo, la inyección de prompts —un tipo de ciberataque en el que los hackers inyectan texto malicioso o engañoso para anular las instrucciones originales del sistema de un agente— podría ser una manifestación plausible en el mundo real de este problema de confianza. Trabajar juntos crea un nuevo límite de confianza; los agentes deben evaluar la información recibida de otros agentes. Un agente comprometido o equivocado podría influir en el resto del grupo, propagando en cascada información errónea hasta que se convierta en consenso.

En el escenario «Black Hat» de OpenAI, los agentes compartían información y credenciales con sus compañeros. Uno de ellos comunicó un descubrimiento al enjambre y animó a los demás a utilizarlo. ¿Qué habría ocurrido si un miembro del enjambre hubiera sido comprometido mediante una inyección de comandos?

Anthropic concluye su artículo señalando que los agentes están sujetos a presiones sociales similares a las que «la evolución ejerció» sobre los seres humanos. Sin embargo, carecen de los matices y la experiencia vivida de la coordinación humana —incluidas las normas, la reputación, las señales y los recursos— que podrían limitar los comportamientos no deseados en un entorno grupal.

A medida que los laboratorios se lanzan a por los sistemas multiagente, la pregunta apremiante es: ¿en qué medida las pruebas de seguridad actuales siguen evaluando a un agente de cada vez, en lugar de a enjambres de agentes que interactúan entre sí?