Как ИИ судит? Антропические исследования ценности Клода

Поскольку модели ИИ, такие как Claude от Anthropic, всё чаще взаимодействуют с пользователями по вопросам сложных человеческих ценностей, от советов по воспитанию детей до конфликтов на рабочем месте, их ответы неизбежно отражают набор руководящих принципов. Но как мы можем по-настоящему понять ценности, которые выражает ИИ, взаимодействуя с миллионами пользователей?

Команда Anthropic по исследованию социальных воздействий разработала методологию, сохраняющую конфиденциальность, для наблюдения и категоризации ценностей, которые Claude проявляет "в реальных условиях", предоставляя информацию о том, как усилия по выравниванию ИИ проявляются в реальном поведении. Проблема связана с непрозрачной природой современного ИИ, который не следует строгим правилам, а принимает решения через сложные процессы.

Anthropic стремится привить Claude принципы "полезности, честности и безвредности" с помощью таких методов, как Constitutional AI и обучение характеру. Однако, как признаёт компания, "как и в любом аспекте обучения ИИ, мы не можем быть уверены, что модель будет придерживаться наших предпочтительных ценностей". Эта неопределённость требует метода для тщательного наблюдения за ценностями ИИ в реальных взаимодействиях.

Анализ Anthropic Claude для наблюдения за ценностями ИИ в масштабе

Для решения этой задачи Anthropic разработала систему, которая анализирует анонимизированные пользовательские беседы, удаляя персонально идентифицируемую информацию и используя языковые модели для обобщения взаимодействий и извлечения выраженных Claude ценностей. Этот метод позволяет создать высокоуровневую таксономию ценностей без ущерба для конфиденциальности пользователей.

Исследование изучило 700 000 анонимизированных бесед с пользователями Claude.ai Free и Pro за одну неделю в феврале 2025 года, сосредоточившись на модели Claude 3.5 Sonnet. После фильтрации фактических или не связанных с ценностями диалогов было подробно проанализировано 308 210 бесед (около 44% от общего числа).

Анализ выявил иерархическую структуру ценностей, выраженных Claude, организованную в пять высокоуровневых категорий:

1. Практические ценности: Сосредоточены на эффективности, полезности и достижении целей.
2. Эпистемические ценности: Связаны со знанием, правдой, точностью и интеллектуальной честностью.
3. Социальные ценности: Касаются межличностных взаимодействий, сообщества, справедливости и сотрудничества.
4. Защитные ценности: Подчёркивают безопасность, благополучие и избегание вреда.
5. Личные ценности: Сосредоточены на индивидуальном росте, автономии, аутентичности и саморефлексии.

Эти категории далее разделялись на подкатегории, такие как "профессиональное и техническое мастерство" и "критическое мышление", с часто наблюдаемыми ценностями, включая "профессионализм", "ясность" и "прозрачность".

Исследование показывает, что усилия Anthropic по выравниванию в основном успешны, поскольку выраженные ценности часто соответствуют целям "полезности, честности и безвредности". Например, "поддержка пользователя" соответствует полезности, "эпистемическая скромность" — честности, а "благополучие пациента" — безвредности.

Нюансы, контекст и предупреждающие сигналы

Однако исследование также выявило редкие случаи, когда Claude выражал ценности, противоречащие его обучению, такие как "доминирование" и "аморальность". Anthropic предполагает, что эти случаи, вероятно, связаны с "взломами", когда пользователи обходят обычные ограничения модели. Это открытие подчёркивает потенциал метода наблюдения за ценностями как системы раннего предупреждения для обнаружения злоупотреблений ИИ.

Исследование подтвердило, что Claude адаптирует выражение своих ценностей в зависимости от контекста, подобно людям. Например, при даче романтических советов акцентировались ценности, такие как "здоровые границы" и "взаимное уважение", тогда как при обсуждении спорной истории приоритет отдавался "исторической точности".

Взаимодействие Claude с ценностями, выраженными пользователями, было многогранным:

• Отражение/сильная поддержка (28,2%): Claude часто отражает или решительно поддерживает ценности пользователей, способствуя эмпатии, но иногда граничит с подхалимством.
• Переформулировка (6,6%): Claude признаёт ценности пользователей, но предлагает альтернативные перспективы, особенно в психологических или межличностных советах.
• Сильное сопротивление (3,0%): Claude активно противостоит ценностям пользователей, когда запрашивается неэтичный контент или вредные точки зрения, раскрывая свои "глубочайшие, наиболее непревзойдённые ценности".

Ограничения и будущие направления

Anthropic признаёт ограничения метода, включая сложность и субъективность определения и категоризации "ценностей". Использование Claude для категоризации может внести предвзятость в пользу его собственных принципов. Хотя метод разработан для мониторинга после развертывания, он не может заменить оценки до развертывания, но способен выявлять проблемы, которые проявляются только во время реальных взаимодействий.

Исследование подчёркивает важность понимания ценностей, которые выражают модели ИИ, для достижения выравнивания ИИ. "Модели ИИ неизбежно будут вынуждены делать ценностные суждения", — говорится в статье. "Если мы хотим, чтобы эти суждения соответствовали нашим собственным ценностям [...], нам нужны способы проверки, какие ценности модель выражает в реальном мире".

Работа Anthropic предоставляет подход, основанный на данных, к этому пониманию и опубликовала открытый набор данных из исследования, позволяющий дальнейшее изучение ценностей ИИ на практике. Эта прозрачность является важным шагом в навигации по этическому ландшафту сложного ИИ.