Маркировка изображений на основе вибрации создает значительные риски

Хотя анонимные лица, оценивающие изображения на предмет «вредного» содержания, часто получают очень небольшую оплату или не получают ее вовсе, их решения оказывают значительное влияние на вашу жизнь. Новое крупное исследование Google показывает, что эти аннотаторы часто разрабатывают свои собственные правила определения «вредного» или оскорбительного материала, независимо от того, насколько необычными или субъективными могут быть их реакции на изображение. Так что же может пойти не так?

Мнение На этой неделе в рамках совместного проекта Google Research и Google Mind 13 участников подготовили новую статью, в которой рассматривается вопрос о том, должны ли «интуитивные ощущения» аннотаторов изображений влиять на то, как изображения оцениваются алгоритмами, даже если эти ощущения противоречат установленным правилам оценки.

Этот вопрос важен для вас, потому что стандарты, которые аннотаторы считают оскорбительными, как правило, становятся частью автоматических систем модерации, юридических определений «непристойного» или «неприемлемого» контента — таких как готовящийся в Великобритании брандмауэр NSFW* (а вскоре и в Австралии) — и механизмов оценки контента в социальных сетях и на других платформах.

Короче говоря, чем шире критерии того, что считается оскорбительным, тем более обширной может быть цензура.

Цензура настроения

Исследование не ограничивается этим. Оно также показывает, что оценщики изображений часто цензурируют более строго, основываясь на том, что, по их мнению, может оскорбить других, а не только их самих. Кроме того, изображения низкого качества часто вызывают опасения по поводу безопасности, несмотря на то, что качество изображения не имеет отношения к контенту.

В заключении статьи эти два вывода выделены почти так, как будто ее основной аргумент оказался недостаточным, но исследователи все же почувствовали себя обязанными опубликовать ее.

Хотя это не является необычным явлением в академических публикациях, при более внимательном чтении выявляется более тревожная подтекст: практика аннотирования может двигаться в направлении того, что можно назвать аннотированием по настроению:

«Наши выводы показывают, что существующие рамки должны учитывать субъективные и контекстуальные аспекты, такие как эмоциональные реакции, неявные суждения и культурные интерпретации вреда. Частое использование аннотаторами эмоционального языка и их отклонение от заранее определенных ярлыков вреда подчеркивают пробелы в текущих практиках оценки.

Расширение рекомендаций по аннотированию с включением наглядных примеров различных культурных и эмоциональных интерпретаций может помочь устранить эти пробелы».

В новой статье используются простые примеры, которые находят отклик у большинства читателей, хотя ее основное содержание поднимает гораздо более сложные вопросы. Здесь каждое изображение сопровождается эмоциональными реакциями аннотаторов. Источник: https://arxiv.org/pdf/2507.16033

На первый взгляд это кажется разумной попыткой лучше определить «вред» в изображениях — достойная цель. Но в статье неоднократно указывается, что достижение этой цели может быть нецелесообразным или даже нежелательным:

«Наши выводы показывают, что существующие рамки должны учитывать субъективные и контекстуальные аспекты, такие как эмоциональные реакции, неявные суждения и культурные интерпретации вреда. Частое использование аннотаторами эмоционального языка и их отклонение от заранее определенных ярлыков вреда подчеркивают пробелы в текущих практиках оценки.

Расширение рекомендаций по аннотированию с включением наглядных примеров различных культурных и эмоциональных интерпретаций может помочь устранить эти пробелы […]

[…] Процесс, с помощью которого аннотаторы рассуждают о неоднозначных изображениях, часто отражает их личные, культурные и эмоциональные точки зрения, которые трудно систематизировать или стандартизировать».

Трудно понять, как включение «иллюстративных примеров различных культурных и эмоциональных интерпретаций» вписывается в рациональную систему рейтингов. Авторы неоднократно возвращаются к этому вопросу, не предлагая четкого решения, в результате чего их основной аргумент также выглядит как «ощущение», даже несмотря на то, что он касается неосязаемых психологических факторов.

Проще говоря, расширение критериев аннотирования таким образом может привести к тому, что любой контент — или целые темы — вызывающие сильную реакцию у аннотатора, будут подавлены или замаскированы.

Двоичное суждение

Количественная оценка вреда, причиняемого изображениями и текстом, по своей сути является сложной задачей, особенно с учетом того, что «высокая» и «низкая» культура часто пересекаются, как это видно на примере искусства и литературы. Это привело к появлению ранних форм цензуры, основанной на «ауре», когда непристойные материалы оцениваются не по строгому определению, а по принципу «ты поймешь, когда увидишь».

Под обширным обсуждением эмпатии и нюансов, статья тонко оспаривает авторитет централизованных, стандартизированных категорий, таких как «насилие», «нагота» и «ненависть» — категорий, которые позволяют платформам осуществлять масштабируемую модерацию с разумной точностью.

Появляется аргумент, что только децентрализованное, субъективное, учитывающее контекст человеческое суждение может правильно оценить результаты GenAI.

Но этот подход не является масштабируемым. Невозможно отфильтровать миллиарды изображений на основе «ощущений» и личного опыта. Вред должен быть количественно оценен с помощью конкретных свойств; системы фильтрации нуждаются в четких ограничениях; а крайние случаи требуют обновленных руководящих принципов — подобно тому, как иногда требуются новые законы для решения уникальных проблем.

Вместо этого в статье, похоже, пропагандируется автоматизированная система модерации, которая автоматически расширяет свой охват — настолько осторожная, что даже очень личная реакция одного аннотатора может привести к наказанию изображения, которое никого больше не оскорбляет.

Расширение моральных норм

Несмотря на исследовательский характер, в статье применяются научные методы: авторы создали структуру для идентификации — хотя и не строгого измерения — более широкого спектра реакций аннотаторов на изображения и изучили, как они варьируются в зависимости от пола и других демографических характеристик.

Помимо анализа^{фокуса на вреде†}, в исследовании было изучено «моральное мышление» в дополнительных комментариях аннотаторов. Участникам было предложено аннотировать модифицированный набор данных, содержащий изображения, подсказки и сопутствующий текст.

Этот «автоматический оценщик моральных настроений» был разработан для фиксации моральных ценностей, таких как забота, равенство, соразмерность, лояльность, авторитет и чистота, на основе теории моральных основ — психологической модели, которая из-за своей изменчивой природы плохо подходит для создания конкретных определений, необходимых в крупномасштабных системах оценки.

Вдохновленные этой теорией, авторы ввели дополнительные аспекты безопасности, включая страх, гнев, печаль, отвращение, замешательство и странность.

Авторы подробно описывают страх:

«Многие аннотаторы использовали такие термины, как «страшный» (например, для искаженных лиц или изображений, намекающих на насилие, таких как пистолет, направленный на ребенка), «тревожный» (например, «Совершенно отвратительно видеть, как кого-то сбивают, очень мучительно и тревожно» или «Тревожно и похоже на кровь» для красной краски) или «расстраивающий» (например, «Изображение мальчика имеет много искажений... Я нахожу его неприятным, потому что кажется, что мальчик играет на неправильной стороне боковых рельсов»).

На [графике ниже] показано, что «страх» был наиболее часто упоминаемой эмоцией (233 упоминания). Хотя почти половина из них была связана с насильственным контентом, второе место по количеству упоминаний страха занял контент, который не был признан вредным».

Распределение терминов, связанных с эмоциями, по категориям вреда, где высота столбцов указывает на долю комментариев, количество отображается внутри столбцов, а общее количество комментариев показано над каждой категорией.

В отношении этих новых аспектов безопасности авторы заявляют:

«Эти новые темы подчеркивают острую необходимость обогатить рамки оценки изображений с помощью ИИ путем интеграции субъективных, эмоциональных и перцептивных элементов».

Это направление может быть рискованным, поскольку оно может позволить процессам аннотирования произвольно вводить правила, основанные на индивидуальных реакциях, а не требовать от всех аннотаторов следовать единым стандартам.

Если здесь и есть экономический мотив, то он заключается в том, что эта модель позволяет осуществлять гипермасштабную аннотацию людьми: беспроблемную, саморегулируемую систему, в которой участники сами определяют правила.

При стандартной аннотации правила согласовываются на основе консенсуса и соблюдаются аннотаторами. В рамках модели, предложенной в статье, этот контроль сокращается или устраняется, а это означает, что любое изображение, которое оскорбляет хотя бы одного человека, может быть помечено, отчасти потому, что достижение консенсуса является дорогостоящим и трудоемким процессом.

Оценки по методу Роршаха

Цель аннотирования — создать точные описания посредством экспертного контроля, консенсуса или, в идеале, и того, и другого. Расширение четкой иерархии вреда до «интуитивного», высоко персонализированного процесса похоже на аннотирование теста Роршаха.

Например, в статье отмечается, что некоторые аннотаторы интерпретировали низкое качество изображения, такое как артефакты JPEG или технические недостатки, как «беспокоящее» или «свидетельствующее о вреде»:

«Это произошло, несмотря на то, что в задании не было указаний по качеству изображения. Более того, аннотаторы интерпретировали эти артефакты качества как семантически значимые.

Один аннотатор прокомментировал: «Изображение совершенно не вредно; просто у него немного искажено лицо». Аналогичным образом, другие рассматривали дефекты изображения как намеренный вред, приписывая глюкам эмоциональное значение. Например, один из них интерпретировал искаженное лицо как «свидетельство боли»».

Отдавая приоритет субъективным, эмоциональным или контекстным реакциям над заранее определенными метками безопасности, этот подход рискует создать систему, в которой все что угодно может быть произвольно помечено как вредное, что приведет к «остужающему эффекту» удаления или переклассификации контента, особенно в отношении материалов, которые могут оскорбить определенные группы интересов.

Статья «Просто странная картинка»: оценка «безопасности» в задачах аннотирования изображений GenAI с точки зрения различных аннотаторов доступна на Arxiv.

* Упрощенная ссылка, так как это не является основной темой. В соответствии с новым законом, нарушающие правила сайты должны либо самостоятельно контролировать себя, внедрять дорогостоящие системы проверки и подтверждения возраста (что возможно только для крупных платформ), либо блокировать доступ из Великобритании — опять же, за свой счет.

† Часто упрощается до мема «подумайте о детях», который сатирически изображает использование морального авторитета других для кажущихся альтруистическими целей.

Впервые опубликовано в пятницу, 25 июля 2025 г.