Senadores estadounidenses presionan a X, Meta y Alphabet por los «deepfakes» de carácter sexual

La crisis del sector tecnológico en torno a los «deepfakes» sexualizados y sin consentimiento se extiende ahora mucho más allá de X.

En una carta enviada a los responsables de X, Meta, Alphabet, Snap, Reddit y TikTok, varios senadores estadounidenses exigen pruebas de que estas empresas cuentan con «medidas de protección y políticas sólidas», junto con una explicación clara de cómo pretenden frenar la difusión de deepfakes sexualizados en sus plataformas.

Los senadores también exigen que todas las empresas conserven cualquier documento e información relacionados con la creación, detección, moderación y monetización de imágenes sexualizadas generadas por IA, así como cualquier política asociada.

La carta llega apenas unas horas después de que X anunciara que había actualizado Grok para prohibir las ediciones que muestren a personas reales con ropa provocativa, y que restringiera la creación y edición de imágenes a través de Grok a los suscriptores de pago. (X y xAI operan bajo el mismo paraguas empresarial).

Citando informes de los medios de comunicación que detallan con qué facilidad y frecuencia Grok generaba imágenes sexualizadas y de desnudos de mujeres y niños, los senadores señalaron que las medidas de seguridad existentes en las plataformas, diseñadas para impedir que los usuarios publiquen imágenes sexualizadas sin consentimiento, podrían resultar insuficientes.

«Reconocemos que muchas empresas mantienen políticas contra las imágenes íntimas no consentidas y la explotación sexual, y que muchos sistemas de IA afirman bloquear la pornografía explícita. Sin embargo, en la práctica, como se ve en los ejemplos anteriores, los usuarios están encontrando formas de eludir estas medidas de seguridad. O bien estas medidas están fallando», afirma la carta.

Grok —y, por extensión, X— ha sido objeto de duras críticas por facilitar esta tendencia, pero otras plataformas tampoco son inmunes.

Apúntate a la lista de espera de Disrupt 2026

Apúntate a la lista de espera de Disrupt 2026 para asegurarte acceso prioritario cuando estén disponibles las entradas de venta anticipada. En ediciones anteriores de Disrupt han participado Google Cloud, Netflix, Microsoft, Box, Phia, a16z, ElevenLabs, Wayve, Hugging Face, Elad Gil y Vinod Khosla, que han subido al escenario como parte de un cartel de más de 250 líderes del sector que imparten más de 200 sesiones diseñadas para impulsar tu crecimiento y afinar tu ventaja competitiva. Además, podrás conectar con cientos de startups que innovan en todos los sectores.

Apúntate a la lista de espera de Disrupt 2026

Apúntate a la lista de espera de Disrupt 2026 para asegurarte acceso prioritario cuando salgan a la venta las entradas de venta anticipada. En ediciones anteriores de Disrupt han participado Google Cloud, Netflix, Microsoft, Box, Phia, a16z, ElevenLabs, Wayve, Hugging Face, Elad Gil y Vinod Khosla, que formaban parte de un elenco de más de 250 líderes del sector que impartieron más de 200 sesiones diseñadas para impulsar tu crecimiento y afinar tu ventaja competitiva. Además, podrás conectar con cientos de startups que innovan en todos los sectores.

Los «deepfakes» ganaron popularidad por primera vez en Reddit, donde una página con vídeos pornográficos sintéticos de famosos se hizo viral antes de que la plataforma la eliminara en 2018. Desde entonces, los «deepfakes» de carácter sexual dirigidos a famosos y políticos se han multiplicado en TikTok y YouTube, aunque suelen tener su origen en otros lugares.

El año pasado, el Consejo de Supervisión de Meta destacó dos casos de imágenes explícitas generadas por IA de figuras públicas femeninas, y la plataforma ha permitido que aplicaciones de desnudación publicaran anuncios en sus servicios —aunque posteriormente demandó a una empresa llamada CrushAI—. Ha habido múltiples denuncias de niños que difunden deepfakes de compañeros de clase en Snapchat. Y Telegram, que no figura en la lista de los senadores, también se ha hecho famoso por albergar bots diseñados para desnudar a mujeres en las fotos.

En respuesta a la carta, X se remitió a su comunicado sobre la actualización de Grok.

«No permitimos ni permitiremos ningún contenido íntimo sin consentimiento (NCIM) en Reddit, no ofrecemos ninguna herramienta capaz de crearlo y tomamos medidas proactivas para detectarlo y eliminarlo», afirmó un portavoz de Reddit en un comunicado enviado por correo electrónico. «Reddit prohíbe estrictamente el NCIM, incluidas las representaciones falsificadas o generadas por IA. También prohibimos solicitar este contenido a otras personas, compartir enlaces a aplicaciones para “desnudar” o debatir cómo crear este contenido en otras plataformas», añadió el portavoz.

Alphabet, Snap, TikTok y Meta no respondieron de inmediato a las solicitudes de comentarios.

La carta exige a las empresas que proporcionen:

• Definiciones en sus políticas de los términos «contenido deepfake», «imágenes íntimas no consentidas» o términos similares.
• Descripciones de las políticas de cada empresa y de su enfoque de aplicación en lo que respecta a los deepfakes no consentidos generados por IA de cuerpos de personas, imágenes sin desnudos, ropa alterada y «desnudo virtual».
• Descripciones de las políticas de contenido actuales que abordan los medios editados y el contenido explícito, así como las directrices internas proporcionadas a los moderadores.
• Cómo regulan las políticas actuales las herramientas de IA y los generadores de imágenes en relación con contenidos sugerentes o íntimos.
• Qué filtros, medidas de protección o medidas se han implementado para evitar la generación y distribución de deepfakes.
• Qué mecanismos utilizan las empresas para identificar el contenido deepfake y evitar que se vuelva a subir.
• Cómo evitan que los usuarios se beneficien económicamente de dicho contenido.
• Cómo evitan las plataformas monetizar contenidos generados por IA sin consentimiento.
• Cómo permiten las condiciones de uso de las empresas bloquear o suspender a los usuarios que publican deepfakes.
• Qué medidas adoptan las empresas para notificar a las víctimas de los «deepfakes» sexuales no consentidos.

La carta está firmada por los senadores Lisa Blunt Rochester (demócrata por Delaware), Tammy Baldwin (demócrata por Wisconsin), Richard Blumenthal (demócrata por Connecticut), Kirsten Gillibrand (demócrata por Nueva York), Mark Kelly (demócrata por Arizona), Ben Ray Luján (demócrata por Nuevo México), Brian Schatz (demócrata por Hawái) y Adam Schiff (demócrata por California).

Esta medida se produce apenas un día después de que el propietario de xAI, Elon Musk, afirmara que «no tenía conocimiento de ninguna imagen de menores desnudos generada por Grok». Más tarde, el miércoles, el fiscal general de California abrió una investigación sobre el chatbot de xAI, tras la creciente presión de gobiernos de todo el mundo, frustrados por la falta de medidas de seguridad en torno a Grok que permitieron que se produjeran tales incidentes.

xAI ha sostenido que toma medidas para eliminar «contenido ilegal en X, incluyendo [CSAM] y desnudos no consentidos», aunque ni la empresa ni Musk han explicado por qué se permitió a Grok generar tales modificaciones en primer lugar.

El problema tampoco se limita a las imágenes sexualizadas manipuladas sin consentimiento. Aunque no todos los servicios de generación y edición de imágenes basados en IA permiten a los usuarios «desnudar» a personas, sí facilitan la creación de deepfakes. Por ejemplo, según se informa, Sora 2, de OpenAI, permitía a los usuarios crear vídeos explícitos en los que aparecían niños; Nano Banana, de Google, aparentemente generó una imagen en la que se veía a Charlie Kirk recibiendo un disparo; y los vídeos racistas creados con el modelo de vídeo de IA de Google están acumulando millones de visualizaciones en las redes sociales.

La cuestión se complica aún más cuando entran en escena los generadores chinos de imágenes y vídeos. Muchas empresas tecnológicas y aplicaciones chinas —especialmente las vinculadas a ByteDance— ofrecen formas sencillas de editar rostros, voces y vídeos, y esos contenidos se han extendido a las plataformas sociales occidentales. China cuenta con requisitos más estrictos para el etiquetado de contenidos sintéticos que no existen a nivel federal en EE. UU., donde los usuarios dependen, en cambio, de políticas fragmentadas y aplicadas de forma inconsistente por las propias plataformas.

Los legisladores estadounidenses ya han aprobado algunas leyes destinadas a frenar la pornografía «deepfake», pero su impacto ha sido limitado. La «Take It Down Act», que entró en vigor como ley federal en mayo, tiene por objeto tipificar como delito la creación y difusión de imágenes sexualizadas sin consentimiento. Sin embargo, varias disposiciones de la ley dificultan que las plataformas generadoras de imágenes rindan cuentas, ya que la mayor parte de la responsabilidad recae sobre los usuarios individuales.

Mientras tanto, varios estados están intentando tomar cartas en el asunto por su cuenta para proteger a los consumidores y las elecciones. Esta semana, la gobernadora de Nueva York, Kathy Hochul, propuso leyes que exigirían que el contenido generado por IA se etiquetara como tal y prohibirían los deepfakes no consentidos en períodos específicos previos a las elecciones, incluidas las representaciones de candidatos de la oposición.