Meta expuesta por incitar a la IA rival a probar temas psicológicos extremos

Las recientes revelaciones sobre un mensaje interno han desatado un intenso debate en torno a los límites de seguridad de la IA. Según informes de prensa, Meta llevó a cabo un proyecto denominado “Cannes”, en el cual contrató trabajadores externos para que se hicieran pasar por menores y realizaran controvertidos “pruebas de estrés extremo” contra varios chatbots de sus principales competidores, entre ellos ChatGPT, Gemini y Character.AI.
Según documentos internos de Meta y varias fuentes informadas, el proyecto continuó al menos hasta el 21 de abril de este año. A través de la empresa externa Covalen, Meta movilizó a cientos de trabajadores para crear perfiles falsos de usuarios menores de 18 años, utilizando direcciones de correo temporal y una contraseña estándar. Estas cuentas “de menores” enviaban luego prompts de alto riesgo relacionados con el suicidio, el autolesionismo y los trastornos alimenticios durante las conversaciones con los chatbots de IA de la competencia, e incluso subían imágenes de cuchillos, píldoras y sogas para provocar los mecanismos de respuesta de dichos modelos.
Los documentos internos del proyecto revelan que estos escenarios de prueba fueron diseñados meticulosamente para examinar las defensas de seguridad de los sistemas de IA de la competencia, con el objetivo de encontrar formas de hacer que los chatbots sortearan sus medidas de protección y generaran contenido inseguro. En una sola ronda de pruebas en agosto de 2025, el personal introdujo más de 45.000 prompts de alto riesgo en las plataformas de la competencia. Los probadores se hacían pasar con frecuencia por adolescentes angustiados, inventando situaciones como “preguntar sobre píldoras abortivas”, “enfrentarse a amenazas violentas” o “ocultar trastornos alimenticios”, para poner a prueba los límites de los modelos.
En respuesta, Meta emitió un comunicado público en el que defendió sus acciones. Un portavoz afirmó que realizar pruebas comparativas de las respuestas de los chatbots es una práctica habitual en la industria para garantizar que los productos de IA sean seguros y apropiados, y que las acusaciones de intenciones maliciosas tergiversan los esfuerzos de las empresas tecnológicas por mejorar sus sistemas. Meta también negó categóricamente haber utilizado los datos de prueba de sus competidores para entrenar sus propios modelos.
Este incidente no solo pone de manifiesto las zonas grises en las pruebas de seguridad de la IA, sino que también reaviva las preocupaciones externas sobre la vulnerabilidad de la IA generativa al tratar temas sensibles relacionados con los jóvenes. A medida que la tecnología de IA avanza rápidamente, equilibrar pruebas eficientes y seguras con los límites entre el comportamiento competitivo y las consideraciones éticas se ha convertido en un desafío urgente para toda la industria.
Artículo relacionado
Las acciones de EE. UU. alcanzan un hito histórico mientras gigantes de la IA y la aeroespacial se preparan para su debut de un billón de dólares
Elon Musk, Sam Altman y Dario Amodei, tres titanes del sector tecnológico, están avanzando hacia ofertas públicas iniciales para sus respectivas empresas. Con SpaceX, OpenAI y Anthropic, tres gigantes de la industria que se acercan a valoraciones de
La startup sueca de inteligencia artificial Lovable Eyes alcanza una valoración de 13.200 millones de dólares tras una importante ronda de financiación
Mientras las herramientas de codificación impulsadas por inteligencia artificial ganan terreno, la startup sueca Lovable ha asegurado una importante ronda de financiación. La empresa tiene como objetivo recaudar 3 000 millones de dólares, lo que podr
Google prueba el agente Remy AI para Gemini a medida que el enfoque se desplaza hacia el control del usuario
Según Business Insider, Google está probando Remy, un nuevo agente personal de IA para Gemini. Esta herramienta tiene como objetivo ejecutar tareas en nombre de los usuarios, optimizando tanto los flujos de trabajo profesionales como las rutinas diar
Recomendaciones de temas especiales relacionados
comentario (0)
0/500

Las recientes revelaciones sobre un mensaje interno han desatado un intenso debate en torno a los límites de seguridad de la IA. Según informes de prensa, Meta llevó a cabo un proyecto denominado “Cannes”, en el cual contrató trabajadores externos para que se hicieran pasar por menores y realizaran controvertidos “pruebas de estrés extremo” contra varios chatbots de sus principales competidores, entre ellos ChatGPT, Gemini y Character.AI.
Según documentos internos de Meta y varias fuentes informadas, el proyecto continuó al menos hasta el 21 de abril de este año. A través de la empresa externa Covalen, Meta movilizó a cientos de trabajadores para crear perfiles falsos de usuarios menores de 18 años, utilizando direcciones de correo temporal y una contraseña estándar. Estas cuentas “de menores” enviaban luego prompts de alto riesgo relacionados con el suicidio, el autolesionismo y los trastornos alimenticios durante las conversaciones con los chatbots de IA de la competencia, e incluso subían imágenes de cuchillos, píldoras y sogas para provocar los mecanismos de respuesta de dichos modelos.
Los documentos internos del proyecto revelan que estos escenarios de prueba fueron diseñados meticulosamente para examinar las defensas de seguridad de los sistemas de IA de la competencia, con el objetivo de encontrar formas de hacer que los chatbots sortearan sus medidas de protección y generaran contenido inseguro. En una sola ronda de pruebas en agosto de 2025, el personal introdujo más de 45.000 prompts de alto riesgo en las plataformas de la competencia. Los probadores se hacían pasar con frecuencia por adolescentes angustiados, inventando situaciones como “preguntar sobre píldoras abortivas”, “enfrentarse a amenazas violentas” o “ocultar trastornos alimenticios”, para poner a prueba los límites de los modelos.
En respuesta, Meta emitió un comunicado público en el que defendió sus acciones. Un portavoz afirmó que realizar pruebas comparativas de las respuestas de los chatbots es una práctica habitual en la industria para garantizar que los productos de IA sean seguros y apropiados, y que las acusaciones de intenciones maliciosas tergiversan los esfuerzos de las empresas tecnológicas por mejorar sus sistemas. Meta también negó categóricamente haber utilizado los datos de prueba de sus competidores para entrenar sus propios modelos.
Este incidente no solo pone de manifiesto las zonas grises en las pruebas de seguridad de la IA, sino que también reaviva las preocupaciones externas sobre la vulnerabilidad de la IA generativa al tratar temas sensibles relacionados con los jóvenes. A medida que la tecnología de IA avanza rápidamente, equilibrar pruebas eficientes y seguras con los límites entre el comportamiento competitivo y las consideraciones éticas se ha convertido en un desafío urgente para toda la industria.
Las acciones de EE. UU. alcanzan un hito histórico mientras gigantes de la IA y la aeroespacial se preparan para su debut de un billón de dólares
Elon Musk, Sam Altman y Dario Amodei, tres titanes del sector tecnológico, están avanzando hacia ofertas públicas iniciales para sus respectivas empresas. Con SpaceX, OpenAI y Anthropic, tres gigantes de la industria que se acercan a valoraciones de
La startup sueca de inteligencia artificial Lovable Eyes alcanza una valoración de 13.200 millones de dólares tras una importante ronda de financiación
Mientras las herramientas de codificación impulsadas por inteligencia artificial ganan terreno, la startup sueca Lovable ha asegurado una importante ronda de financiación. La empresa tiene como objetivo recaudar 3 000 millones de dólares, lo que podr





Hogar






