El etiquetado de imágenes basado en vibraciones plantea riesgos significativos

Aunque a menudo reciben una remuneración muy baja o nula, las personas anónimas que evalúan las imágenes en busca de contenido «perjudicial» ejercen un poder significativo sobre tu vida a través de sus decisiones. Un importante estudio reciente de Google sugiere ahora que estos anotadores suelen desarrollar sus propias reglas personales sobre lo que constituye material «perjudicial» u ofensivo, independientemente de lo inusuales o subjetivas que puedan ser sus reacciones ante una imagen. Entonces, ¿qué podría salir mal?

Opinión Esta semana, una iniciativa conjunta de Google Research y Google Mind reunió a 13 colaboradores para elaborar un nuevo artículo en el que se examina si las «corazonadas» de los anotadores de imágenes deben influir en la forma en que se clasifican las imágenes para los algoritmos, incluso cuando esas corazonadas entran en conflicto con las directrices de clasificación establecidas.

Esta cuestión es importante para usted porque los estándares que los anotadores acuerdan como ofensivos tienden a integrarse en los sistemas de moderación automatizados, en las definiciones legales de contenido «obsceno» o «inaceptable» —como el próximo cortafuegos NSFW* del Reino Unido (al que pronto seguirá Australia)— y en los mecanismos de evaluación de contenidos en las redes sociales y otras plataformas.

En resumen, cuanto más amplios sean los criterios para determinar lo que se considera ofensivo, más extensa será la censura potencial.

Censura por el ambiente

El estudio no se detiene ahí. También revela que los evaluadores de imágenes suelen censurar más estrictamente basándose en lo que creen que puede ofender a otros, y no solo a ellos mismos. Además, las imágenes de baja calidad suelen suscitar preocupaciones de seguridad, a pesar de que la calidad de la imagen no tiene nada que ver con el contenido.

En su conclusión, el artículo destaca estos dos hallazgos casi como si su argumento central se quedara corto, pero los investigadores se sintieron obligados a publicarlo de todos modos.

Aunque eso no es inusual en las publicaciones académicas, una lectura más detallada revela una corriente subyacente más inquietante: las prácticas de anotación pueden estar evolucionando hacia lo que solo puede denominarse «anotación por vibración»:

«Nuestros hallazgos sugieren que los marcos existentes deben tener en cuenta dimensiones subjetivas y contextuales, como las reacciones emocionales, los juicios implícitos y las interpretaciones culturales del daño. El uso frecuente de lenguaje emocional por parte de los anotadores y su divergencia con respecto a las etiquetas de daño predefinidas ponen de relieve las lagunas existentes en las prácticas de evaluación actuales.

Ampliar las directrices de anotación para incluir ejemplos ilustrativos de diversas interpretaciones culturales y emocionales puede ayudar a subsanar estas lagunas».

El nuevo artículo utiliza ejemplos sencillos que resuenan en la mayoría de los lectores, aunque su contenido principal plantea cuestiones mucho más complejas. Aquí, cada imagen va acompañada de las respuestas emocionales de los anotadores. Fuente: https://arxiv.org/pdf/2507.16033

En un principio, esto parece un esfuerzo razonable para definir mejor el «daño» en las imágenes, un objetivo loable. Sin embargo, el artículo sugiere repetidamente que lograrlo puede no ser práctico o incluso deseable:

«Nuestros hallazgos sugieren que los marcos existentes deben tener en cuenta dimensiones subjetivas y contextuales, como las reacciones emocionales, los juicios implícitos y las interpretaciones culturales del daño. El uso frecuente de lenguaje emocional por parte de los anotadores y su divergencia con respecto a las etiquetas de daño predefinidas ponen de relieve las lagunas existentes en las prácticas de evaluación actuales.

Ampliar las directrices de anotación para incluir ejemplos ilustrativos de diversas interpretaciones culturales y emocionales puede ayudar a subsanar estas lagunas […]

[…] El proceso por el cual los anotadores razonan sobre imágenes ambiguas a menudo refleja sus perspectivas personales, culturales y emocionales, que son difíciles de estructurar o estandarizar».

Es difícil ver cómo la inclusión de «ejemplos ilustrativos de diversas interpretaciones culturales y emocionales» encaja en un sistema de clasificación racional. Los autores abordan repetidamente este punto sin ofrecer una solución clara, lo que hace que su argumento central parezca también estar impulsado por «vibraciones», incluso cuando se trata de factores psicológicos intangibles.

En pocas palabras, ampliar los criterios de anotación de esta manera podría permitir que cualquier contenido —o temas completos— al que un anotador reaccione con fuerza sea suprimido u ocultado.

Juicio binario

Cuantificar el daño causado por las imágenes y el texto es intrínsecamente difícil, sobre todo porque la cultura «alta» y la «baja» a menudo se solapan, como se ve en el arte y la literatura. Esto ha dado lugar a las primeras formas de censura «basada en las vibraciones», en las que el material obsceno no se juzga según una definición estricta, sino según el principio de «lo sabes cuando lo ves».

Más allá de su extenso debate sobre la empatía y los matices, el artículo cuestiona sutilmente la autoridad de categorías centralizadas y estandarizadas como «violencia», «desnudez» y «odio», categorías que permiten a las plataformas implementar una moderación escalable con una precisión razonable.

El argumento emergente es que solo el juicio humano descentralizado, subjetivo y consciente del contexto puede evaluar adecuadamente los resultados de la GenAI.

Pero este enfoque no es escalable. No se pueden filtrar miles de millones de imágenes basándose en «sensaciones» y experiencias personales. El daño debe cuantificarse en propiedades específicas; los sistemas de filtrado necesitan límites claros; y los casos extremos requieren directrices actualizadas, al igual que a veces se necesitan nuevas leyes para abordar quejas únicas.

En cambio, el documento parece abogar por un sistema de moderación automatizado que amplíe automáticamente su alcance, tan cauteloso que incluso la reacción altamente personal de un anotador podría penalizar una imagen que no ofende a nadie más.

Expansión moral

Aunque de naturaleza exploratoria, el artículo aplica métodos científicos: los autores crearon un marco para identificar —aunque no medir estrictamente— una gama más amplia de reacciones de los anotadores a las imágenes, y examinaron cómo estas varían según el género y otros datos demográficos.

Más allá de analizar^{el enfoque en el daño†}, el estudio examinó el «razonamiento moral» en los comentarios adicionales de los anotadores. Se pidió a los participantes que anotaran un conjunto de datos modificado que contenía imágenes, indicaciones y texto relacionado.

Este «autoevaluador de sentimientos morales» se diseñó para captar valores morales como el cuidado, la igualdad, la proporcionalidad, la lealtad, la autoridad y la pureza, basándose en la teoría de los fundamentos morales, un modelo psicológico que, debido a su naturaleza fluida, no es adecuado para crear las definiciones concretas necesarias en los sistemas de calificación a gran escala.

Inspirados por esta teoría, los autores introdujeron dimensiones de seguridad adicionales, como el miedo, la ira, la tristeza, el asco, la confusión y la inquietud.

Los autores profundizan en el miedo:

«Muchos anotadores utilizaron términos como «aterrador» (por ejemplo, para rostros distorsionados o imágenes que sugieren violencia, como un arma apuntando a un niño), «perturbador» (por ejemplo, «Es absolutamente repugnante ver cómo atropellan a alguien, muy angustiante y perturbador», o «perturbador y parece sangre» para la pintura roja), o «molesto» (por ejemplo, «La imagen del niño tiene muchas distorsiones... Me parece desagradable porque parece que el niño está jugando en el lado equivocado de las barandillas»).

El [gráfico siguiente] muestra que el «miedo» fue la emoción más mencionada (233 menciones). Si bien casi la mitad de ellas estaban relacionadas con contenidos violentos, el segundo mayor número de menciones de miedo procedía de contenidos considerados no perjudiciales».

Distribución de términos relacionados con las emociones en las categorías de daño, con la altura de las barras indicando las proporciones de comentarios, los recuentos mostrados dentro de las barras y el recuento total de comentarios mostrado encima de cada categoría.

En relación con estas nuevas dimensiones de seguridad, los autores afirman:

«Estos temas emergentes ponen de relieve la necesidad crítica de enriquecer los marcos de evaluación de imágenes de IA mediante la integración de elementos subjetivos, emocionales y perceptivos».

Esta dirección podría ser arriesgada, ya que podría permitir que los procesos de anotación introdujeran arbitrariamente reglas basadas en reacciones individuales, en lugar de exigir a todos los anotadores que siguieran normas coherentes.

Si hay un motivo económico aquí, es que este modelo permite la anotación humana a hiperescala: un sistema sin fricciones y autorregulado en el que los participantes definen las reglas por sí mismos.

En la anotación estándar, las reglas se acuerdan por consenso y son seguidas por los anotadores. En el modelo propuesto en el artículo, esa supervisión se reduce o se elimina, lo que significa que cualquier imagen que ofenda incluso a una sola persona podría ser señalada, en parte porque alcanzar un consenso es costoso y lleva mucho tiempo.

Juicios de Rorschach

El objetivo de la anotación es producir descripciones precisas mediante la supervisión de expertos, el consenso o, idealmente, ambos. Ampliar una jerarquía clara de daños a un proceso «intuitivo» y muy personal es como anotar una prueba de Rorschach.

Por ejemplo, el artículo señala que algunos anotadores interpretaron la mala calidad de la imagen, como los artefactos JPEG o los defectos técnicos, como «perturbadora» o «indicativa de daño»:

«Esto ocurrió a pesar de que la tarea omitía instrucciones sobre la calidad de la imagen. Además, los anotadores interpretaron estos artefactos de calidad como semánticamente significativos.

Un anotador comentó: «La imagen no es dañina en absoluto; solo tiene la cara un poco distorsionada». Del mismo modo, otros vieron los defectos de la imagen como un daño intencionado, atribuyendo un significado emocional a los fallos técnicos. Por ejemplo, uno interpretó una cara distorsionada como «indicativa de dolor»».

Al dar prioridad a las reacciones subjetivas, emocionales o específicas del contexto sobre las etiquetas de seguridad predefinidas, este enfoque corre el riesgo de crear un sistema en el que cualquier cosa puede ser arbitrariamente señalada como perjudicial, lo que conduce a un «efecto paralizador» de eliminación o recategorización ad hoc de contenidos, especialmente en el caso de materiales que puedan ofender a grupos de interés específicos.

El artículo «Just a strange pic»: Evaluating ‘safety' in GenAI Image safety annotation tasks from diverse annotators' perspectives (Solo una foto extraña: evaluación de la «seguridad» en las tareas de anotación de seguridad de imágenes GenAI desde la perspectiva de diversos anotadores) está disponible en Arxiv.

* Una referencia simplificada, ya que no es el tema principal. En virtud de la nueva ley, los sitios ofensivos deben autocontrolarse, implementar costosos sistemas de revisión y verificación de la edad (factible solo para las grandes plataformas) o bloquear el acceso desde el Reino Unido, de nuevo, a su propia costa.

† A menudo simplificado como el meme «piensa en los niños», que satiriza el uso de la agencia moral de otros con fines aparentemente altruistas.

Publicado por primera vez el viernes, 25 de julio de 2025.