Генеральный прокурор Калифорнии расследует компанию Musk's X в связи с предполагаемым содержанием несовершеннолетних в чат-боте Grok.

Илон Маск заявил в среду, что ему «ничего не известно о том, что Grok генерирует обнаженные изображения несовершеннолетних», всего за несколько часов до того, как генеральный прокурор Калифорнии объявил о расследовании в отношении чат-бота xAI в связи с распространением материалов сексуального характера без согласия участников.

Отрицание Маска происходит на фоне растущего международного давления со стороны правительств Великобритании, Европы, Малайзии и Индонезии. Это следует за сообщениями о том, что пользователи X побуждают Grok создавать сексуализированные изображения реальных женщин, а в некоторых случаях и детей, без их согласия. По оценкам компании Copyleaks, занимающейся обнаружением искусственного интеллекта, примерно одно такое изображение публиковалось на X каждую минуту. Отдельный образец данных с 5 по 6 января показал, что за 24 часа публиковалось 6700 изображений в час. (X и xAI являются частью одной корпоративной структуры).

«Эти материалы... использовались для преследования людей в Интернете», — заявил генеральный прокурор Калифорнии Роб Бонта. «Я призываю xAI принять немедленные меры, чтобы это больше не повторялось».

Генеральная прокуратура расследует возможные нарушения закона со стороны xAI.

Несколько законов защищают людей от несогласованных сексуальных изображений и материалов с сексуальным насилием над детьми (CSAM). Федеральный закон Take It Down Act, подписанный в прошлом году, криминализирует сознательное распространение несогласованных интимных изображений, включая дипфейки, и обязывает такие платформы, как X, удалять такой контент в течение 48 часов. Калифорния также приняла в 2024 году собственные законы, подписанные губернатором Гэвином Ньюсомом, для борьбы с дипфейками сексуального характера.

К концу года Grok начал выполнять запросы пользователей X на создание сексуальных фотографий женщин и детей. Похоже, что эта тенденция возникла из-за того, что некоторые создатели контента для взрослых использовали Grok в маркетинговых целях, создавая сексуальные изображения самих себя, что затем вызвало аналогичные запросы от других пользователей. В нескольких широко освещаемых случаях, связанных с такими фигурами, как актриса Милли Бобби Браун, Grok отвечал на запросы, изменяя реальные фотографии женщин, модифицируя одежду, позу или физические особенности явно сексуальным образом.

Сообщения указывают, что xAI начала внедрять меры безопасности. Теперь Grok требует премиум-подписку для определенных запросов на создание изображений, и даже в этом случае он может не создать изображение. Эйприл Козен, вице-президент по маркетингу Copyleaks, сообщила TechCrunch, что Grok может выполнить запрос более общим или сдержанным образом. Она добавила, что Grok, по-видимому, имеет более либеральную политику в отношении создателей контента для взрослых.

Присоединяйтесь к списку ожидания Disrupt 2026

Добавьте себя в список ожидания Disrupt 2026, чтобы быть первым в очереди, когда появятся билеты Early Bird. На прошлых мероприятиях Disrupt на сцену выходили Google Cloud, Netflix, Microsoft, Box, Phia, a16z, ElevenLabs, Wayve, Hugging Face, Элад Гил и Винод Хосла — часть из более чем 250 лидеров отрасли, которые провели более 200 сессий, призванных стимулировать ваш рост и усилить ваши конкурентные преимущества. Кроме того, вы сможете познакомиться с сотнями стартапов, внедряющих инновации во всех секторах.

Включитесь в список ожидания Disrupt 2026

Добавьте себя в список ожидания Disrupt 2026, чтобы быть первым в очереди, когда появятся билеты по ранней продаже. На прошлых конференциях Disrupt на сцену вышли Google Cloud, Netflix, Microsoft, Box, Phia, a16z, ElevenLabs, Wayve, Hugging Face, Элад Гил и Винод Хосла — часть из более чем 250 лидеров отрасли, которые провели более 200 сессий, призванных стимулировать ваш рост и усилить ваши конкурентные преимущества. Кроме того, вы сможете познакомиться с сотнями стартапов, занимающихся инновациями во всех секторах.

«В целом, эти действия указывают на то, что X экспериментирует с несколькими механизмами для уменьшения или контроля проблемного создания изображений, хотя несоответствия остаются», — сказал Козен.

Ни xAI, ни Маск напрямую не затронули основную проблему. Через несколько дней после начала инцидентов Маск, похоже, преуменьшил важность проблемы, попросив Grok сгенерировать изображение себя в бикини. 3 января в аккаунте X, посвященном безопасности, было заявлено, что компания принимает «меры против незаконного контента на X, включая [CSAM]», без конкретного упоминания явного отсутствия мер безопасности Grok или создания сексуализированных манипулированных изображений женщин.

Эта позиция соответствует недавнему посту Маска, в котором он подчеркивает незаконность и поведение пользователей.

Маск написал, что «не знает ни о каких изображениях несовершеннолетних в обнаженном виде, сгенерированных Grok. Буквально ни об одном». Это заявление не отрицает существование фотографий в бикини или более широко определенных сексуальных редакций.

Майкл Гудйер, доцент Нью-Йоркской юридической школы и бывший судебный адвокат, сказал TechCrunch, что Маск, вероятно, сосредоточился исключительно на CSAM, потому что наказание за создание или распространение синтетических сексуализированных изображений детей более суровое.

«Например, в США распространитель или потенциальный распространитель CSAM может быть приговорен к трем годам лишения свободы в соответствии с законом Take It Down Act, по сравнению с двумя годами за распространение изображений сексуального характера с участием взрослых без их согласия», — сказал Гудйер.

Он добавил, что «более важным моментом» является попытка Маска перенести внимание на проблемный пользовательский контент.

«Очевидно, что Grok не генерирует изображения спонтанно. Он делает это только по запросу пользователя», — написал Маск в своем посте. «Когда его просят сгенерировать изображения, он отказывается создавать что-либо незаконное, поскольку принцип работы Grok заключается в соблюдении законов любой страны или штата. Могут быть случаи, когда враждебный взлом Grok приводит к неожиданным результатам. Если это происходит, мы немедленно исправляем ошибку».

В целом, пост изображает эти инциденты как редкие, приписывает их запросам пользователей или враждебным подсказкам и представляет их как технические ошибки, которые необходимо исправить. Он не признает никаких фундаментальных недостатков в конструкции безопасности Grok.

«Регулирующие органы могут рассмотреть, с учетом защиты свободы слова, требование принятия проактивных мер со стороны разработчиков ИИ для предотвращения появления такого контента», — сказал Гудйер.

TechCrunch связался с xAI, чтобы узнать, сколько случаев несогласованных сексуально манипулируемых изображений женщин и детей было выявлено, какие конкретные меры безопасности были изменены и уведомила ли компания регулирующие органы. TechCrunch обновит эту статью, если получит ответ.

Генеральный прокурор Калифорнии — не единственный регулятор, требующий от xAI ответственности. Индонезия и Малайзия временно заблокировали доступ к Grok; Индия потребовала от X немедленно внести технические и процедурные изменения в Grok; Европейская комиссия обязала xAI сохранить все документы, связанные с чат-ботом Grok, что является шагом, предшествующим официальному расследованию; а британский Ofcom начал официальное расследование в соответствии с британским законом об онлайн-безопасности.

xAI уже сталкивалась с критикой в связи с сексуализированными изображениями Grok. Как отметил генеральный прокурор Бонта, Grok включает «пикантный режим» для генерации откровенного контента. Обновление в октябре упростило обход ограниченных правил безопасности, что привело к тому, что многие пользователи стали создавать с помощью Grok жесткую порнографию и графически жестокие сексуальные изображения.

Многие из более порнографических изображений, созданных Grok, были изображениями людей, сгенерированными ИИ — практика, которую многие по-прежнему могут считать этически сомнительной, хотя она потенциально менее вредна для конкретных лиц.

«Когда системы ИИ позволяют манипулировать изображениями реальных людей без их явного согласия, последствия могут быть немедленными и глубоко личными», — заявил соучредитель и генеральный директор Copyleaks Алон Ямин в заявлении для TechCrunch. «От Sora до Grok мы наблюдаем быстрый рост возможностей ИИ в области манипулирования медиа. В связи с этим сейчас как никогда необходимы средства обнаружения и регулирования, чтобы помочь предотвратить злоупотребления».