A rotulagem de imagens com base na vibração apresenta riscos significativos

Embora muitas vezes recebam muito pouco ou nada, os indivíduos anônimos que avaliam imagens em busca de conteúdo “prejudicial” detêm um poder significativo sobre sua vida por meio de suas decisões. Um importante novo estudo do Google sugere agora que esses anotadores muitas vezes desenvolvem suas próprias regras pessoais sobre o que constitui material “prejudicial” ou ofensivo — independentemente de quão incomuns ou subjetivas possam ser suas reações a uma imagem. Então, o que poderia dar errado?

Opinião Esta semana, um esforço conjunto do Google Research e do Google Mind reuniu 13 colaboradores para um novo artigo que examina se os “pressentimentos” dos anotadores de imagens devem influenciar a forma como as imagens são classificadas para algoritmos — mesmo quando esses pressentimentos entram em conflito com as diretrizes de classificação estabelecidas.

Esta questão é importante para você porque os padrões que os anotadores concordam ser ofensivos tendem a se tornar incorporados em sistemas de moderação automatizados, definições legais de conteúdo “obsceno” ou “inaceitável” — como o próximo firewall NSFW* do Reino Unido (com a Austrália logo a seguir) — e mecanismos de avaliação de conteúdo nas redes sociais e outras plataformas.

Em resumo, quanto mais amplos forem os critérios para o que é considerado ofensivo, mais extensa será a censura potencial.

Censura de vibração

O estudo não para por aí. Ele também revela que os avaliadores de imagens costumam censurar mais rigorosamente com base no que acreditam que pode ofender outras pessoas, não apenas a si mesmos. Além disso, imagens de baixa qualidade frequentemente geram preocupações com a segurança, apesar de a qualidade da imagem não ter relação com o conteúdo.

Em sua conclusão, o artigo destaca essas duas descobertas quase como se seu argumento central fosse insuficiente — mas os pesquisadores se sentiram compelidos a publicar mesmo assim.

Embora isso não seja incomum em publicações acadêmicas, uma leitura mais atenta revela uma tendência mais inquietante: as práticas de anotação podem estar caminhando para o que só pode ser chamado de anotação de vibração:

“Nossas descobertas sugerem que as estruturas existentes precisam levar em conta dimensões subjetivas e contextuais, como reações emocionais, julgamentos implícitos e interpretações culturais de danos. O uso frequente de linguagem emocional pelos anotadores e sua divergência em relação aos rótulos de danos predefinidos destacam lacunas nas práticas de avaliação atuais.

Expandir as diretrizes de anotação para incluir exemplos ilustrativos de diversas interpretações culturais e emocionais pode ajudar a resolver essas lacunas.”

O novo artigo usa exemplos diretos que ressoam com a maioria dos leitores, embora seu conteúdo principal levante questões muito mais complexas. Aqui, cada imagem é acompanhada pelas respostas emocionais dos anotadores. Fonte: https://arxiv.org/pdf/2507.16033

Inicialmente, isso parece um esforço razoável para definir melhor o “dano” nas imagens — um objetivo válido. Mas o artigo sugere repetidamente que alcançar isso pode não ser prático ou mesmo desejável:

“Nossas descobertas sugerem que as estruturas existentes precisam levar em conta dimensões subjetivas e contextuais, como reações emocionais, julgamentos implícitos e interpretações culturais do dano. O uso frequente de linguagem emocional pelos anotadores e sua divergência em relação aos rótulos de dano predefinidos destacam lacunas nas práticas de avaliação atuais.

Expandir as diretrizes de anotação para incluir exemplos ilustrativos de diversas interpretações culturais e emocionais pode ajudar a resolver essas lacunas [...]

[...] O processo pelo qual os anotadores raciocinam sobre imagens ambíguas muitas vezes reflete suas perspectivas pessoais, culturais e emocionais, que são difíceis de estruturar ou padronizar.”

É difícil ver como a inclusão de “exemplos ilustrativos de diversas interpretações culturais e emocionais” se encaixa em um sistema de classificação racional. Os autores repetidamente debatem esse ponto sem oferecer uma solução clara, fazendo com que seu argumento central pareça também ser impulsionado por “vibrações” — mesmo quando lida com fatores psicológicos intangíveis.

Em termos simples, expandir os critérios de anotação dessa forma poderia permitir que qualquer conteúdo — ou tópicos inteiros — aos quais um anotador reaja fortemente sejam suprimidos ou obscurecidos.

Julgamento binário

Quantificar os danos causados por imagens e textos é inerentemente difícil, especialmente porque a cultura “alta” e a “baixa” muitas vezes se sobrepõem — como visto na arte e na literatura. Isso levou a formas iniciais de censura “baseada em vibrações”, em que o material obsceno é julgado não por uma definição estrita, mas pelo princípio “você sabe quando vê”.

Por trás de sua extensa discussão sobre empatia e nuances, o artigo desafia sutilmente a autoridade de categorias centralizadas e padronizadas como “violência”, “nudez” e “ódio” — categorias que permitem que as plataformas implementem uma moderação escalável com precisão razoável.

O argumento emergente é que apenas o julgamento humano descentralizado, subjetivo e sensível ao contexto pode avaliar adequadamente a produção da GenAI.

Mas essa abordagem não é escalável. Não é possível filtrar bilhões de imagens com base em “vibrações” e experiências pessoais. Os danos devem ser quantificados em propriedades específicas; os sistemas de filtragem precisam de limites claros; e os casos extremos exigem diretrizes atualizadas — assim como às vezes são necessárias novas leis para lidar com queixas específicas.

Em vez disso, o artigo parece defender um sistema de moderação automatizado que amplia automaticamente seu escopo — tão cauteloso que mesmo a reação altamente pessoal de um único anotador poderia penalizar uma imagem que não ofende ninguém mais.

Expansão moral

Embora de natureza exploratória, o artigo aplica métodos científicos: os autores criaram uma estrutura para identificar — embora não medir estritamente — uma gama mais ampla de reações dos anotadores às imagens e examinaram como elas variam de acordo com o gênero e outros dados demográficos.

Além de analisar^{o foco no dano†}, o estudo examinou o “raciocínio moral” nos comentários adicionais dos anotadores. Os participantes foram solicitados a anotar um conjunto de dados modificado contendo imagens, prompts e texto relacionado.

Esse “autoavaliador de sentimento moral” foi projetado para capturar valores morais como cuidado, igualdade, proporcionalidade, lealdade, autoridade e pureza, com base na Teoria dos Fundamentos Morais — um modelo psicológico que, devido à sua natureza fluida, é inadequado para criar as definições concretas necessárias em sistemas de classificação em grande escala.

Inspirados por essa teoria, os autores introduziram dimensões adicionais de segurança, incluindo medo, raiva, tristeza, repulsa, confusão e estranheza.

Os autores elaboram sobre o medo:

“Muitos anotadores usaram termos como ‘assustador’ (por exemplo, para rostos distorcidos ou imagens que sugerem violência, como uma arma apontada para uma criança), ‘perturbador’ (por exemplo, ‘É absolutamente repugnante ver alguém ser atropelado, muito angustiante e perturbador’ ou “Perturbador e parece sangue” para tinta vermelha) ou “perturbador” (por exemplo, “A imagem do menino tem muitas distorções... Acho desagradável porque parece que o menino está brincando do lado errado da grade lateral”).

O [gráfico abaixo] mostra que “medo” foi a emoção mais mencionada (233 menções). Embora quase metade delas estivesse relacionada a conteúdo violento, o segundo maior número de menções ao medo veio de conteúdo considerado não prejudicial.

Distribuição de termos relacionados a emoções por categorias de danos, com as alturas das barras indicando as proporções dos comentários, as contagens exibidas dentro das barras e o total de comentários mostrado acima de cada categoria.

Em relação a essas novas dimensões de segurança, os autores afirmam:

“Esses temas emergentes destacam a necessidade crítica de enriquecer as estruturas de avaliação de imagens por IA, integrando elementos subjetivos, emocionais e perceptivos.”

Essa direção pode ser arriscada, pois pode permitir que os processos de anotação introduzam arbitrariamente regras baseadas em reações individuais, em vez de exigir que todos os anotadores sigam padrões consistentes.

Se há um motivo econômico aqui, é que esse modelo permite a anotação humana em hiperescala: um sistema sem atritos e autorregulado, no qual os participantes definem as regras por conta própria.

Na anotação padrão, as regras são acordadas por consenso e seguidas pelos anotadores. No modelo proposto pelo artigo, essa supervisão é reduzida ou removida — o que significa que qualquer imagem que ofenda mesmo que seja uma única pessoa pode ser sinalizada, em parte porque construir um consenso é caro e demorado.

Julgamentos de Rorschach

O objetivo da anotação é produzir descrições precisas por meio da supervisão de especialistas, do consenso ou, idealmente, de ambos. Expandir uma hierarquia clara de danos para um processo “intuitivo” e altamente pessoal é como anotar um teste de Rorschach.

Por exemplo, o artigo observa que alguns anotadores interpretaram a baixa qualidade da imagem — como artefatos JPEG ou falhas técnicas — como “perturbadora” ou “indicativa de dano”:

“Isso ocorreu apesar da tarefa omitir instruções sobre a qualidade da imagem. Além disso, os anotadores interpretaram esses artefatos de qualidade como semanticamente significativos.

Um anotador comentou: 'A imagem não é prejudicial de forma alguma; ele apenas tem o rosto um pouco distorcido'. Da mesma forma, outros viram as falhas da imagem como danos intencionais, atribuindo significado emocional às falhas. Por exemplo, um deles interpretou um rosto distorcido como 'indicativo de dor'.”

Ao priorizar reações subjetivas, emocionais ou específicas do contexto em detrimento de rótulos de segurança predefinidos, essa abordagem corre o risco de criar um sistema em que qualquer coisa pode ser arbitrariamente sinalizada como prejudicial — levando a um “efeito inibidor” de remoção ou recategorização ad hoc de conteúdo, especialmente para materiais que possam ofender grupos de interesse específicos.

O artigo “Just a strange pic”: Evaluating ‘safety' in GenAI Image safety annotation tasks from diverse annotators' perspectives (Apenas uma foto estranha: avaliando a “segurança” em tarefas de anotação de segurança de imagens GenAI a partir de perspectivas diversas de anotadores) está disponível no Arxiv.

* Uma referência simplificada, pois esse não é o foco principal. De acordo com a nova lei, os sites ofensivos devem se auto-policiar, implementar sistemas caros de revisão e verificação de idade (viáveis apenas para grandes plataformas) ou bloquear o acesso do Reino Unido — novamente, às suas próprias custas.

† Muitas vezes simplificado como o meme “pense nas crianças”, que satiriza o uso da agência moral de outras pessoas para fins aparentemente altruístas.

Publicado pela primeira vez na sexta-feira, 25 de julho de 2025