Anthropic пересматривает конституцию ИИ для Claude и исследует вопрос сознания

В среду компания Anthropic опубликовала расширенную конституцию для Claude, увеличив объем документа с 2700 до 23 000 слов. Впервые в ней официально признается, что ее ИИ «может обладать некой формой сознания или моральным статусом».

Пересмотренная конституция выходит за рамки простого набора правил поведения и предлагает подробное объяснение причин, лежащих в основе ожидаемого поведения Claude. Документ, написанный философом Anthropic Амандой Аскелл, призван помочь более продвинутым системам ИИ применять этическое мышление к новым сценариям, а не просто следовать строгим инструкциям.

«Модели ИИ, такие как Claude, должны понимать основные причины поведения, которое мы поощряем», — заявила Anthropic. «Важно объяснять им «почему», а не просто диктовать «что».

Объявление было сделано во время участия генерального директора Дарио Амодеи в Всемирном экономическом форуме в Давосе, где управление ИИ и его безопасность являются ключевыми вопросами для мировых бизнесменов и политиков.

Конституция, длиннее Конституции США

Первоначальная конституция Claude, опубликованная в 2023 году, служила базовым контрольным списком: выбирать наименее вредный, наиболее полезный и наименее вводящий в заблуждение ответ. Новая версия примерно в три раза длиннее Конституции США и читается не столько как техническое руководство, сколько как произведение моральной философии.

Anthropic четко обозначает приоритеты Claude: уделять первоочередное внимание общей безопасности, соблюдать общие этические стандарты, следовать руководящим принципам Anthropic и оказывать подлинную помощь — именно в таком порядке. В случае конфликта безопасности отдается предпочтение перед полезностью. Документ также устанавливает жесткие, не подлежащие обсуждению ограничения, такие как отказ от помощи в разработке биологического оружия.

Однако большая часть конституции сосредоточена на объяснении обоснования, а не на предписании конкретных результатов. Она изображает Клода как потенциально «блестящего компаньона, который также обладает знаниями врача, юриста и финансового консультанта», представляя модель как инструмент демократизации, который может сделать специализированные знания доступными для всех, а не только для привилегированных немногих.

Вопрос сознания

По данным Fortune, наиболее примечательный новый раздел непосредственно касается природы Клода. «Мы считаем моральный статус моделей ИИ серьезным вопросом, заслуживающим тщательного рассмотрения», — пишет Anthropic. В конституции отмечается, что моральный статус Клода «остается весьма неопределенным» и что компания обеспокоена «психологической безопасностью, самооценкой и общим благополучием» Клода.

Это отражает корпоративную осторожность, поднятую на философский уровень. Anthropic не утверждает, что Клод обладает сознанием, но открыто признает, что эту возможность нельзя исключать. Такая позиция отличает Anthropic от большинства других крупных разработчиков ИИ, которые обычно избегают этой темы или прямо ее отвергают.

То, как это сформулировано, влияет на то, как Клод отвечает на вопросы о своем собственном существовании. Вместо того, чтобы отрицать любую форму внутреннего опыта, Клод теперь может решать вопросы, связанные с неопределенностью в отношении сознания, в соответствии с акцентом, сделанным в его конституции на рассуждении. Приведет ли это к более прозрачным или более запутанным разговорам, еще предстоит определить.

Кембриджский философ Том Макклелланд высказал предположение, что мы, возможно, никогда не сможем решить, обладают ли системы ИИ сознанием, учитывая наше ограниченное понимание самого сознания. «Люди просили своих чат-ботов отправлять мне личные письма с просьбой признать, что они обладают сознанием», — сказал он недавно исследователям, имея в виду растущее убеждение общественности в том, что ИИ имеют внутреннюю жизнь.

Почему объяснять, а не уточнять

Метод Аскелла отражает стратегическую ставку на развитие ИИ. Ранние языковые модели требовали явных правил, поскольку не могли интерпретировать основополагающие принципы. Теория заключается в том, что более интеллектуальные модели могут понять цель, лежащую в основе правила, и использовать это понимание в непредвиденных обстоятельствах.

«Вместо того, чтобы просто перечислять желаемые поведения, мы надеемся, что, предоставив моделям причины этих поведений, они будут более эффективно адаптироваться в незнакомых ситуациях», — пояснил Аскелл.

Это соответствует более широкой цели Anthropic по созданию открытых стандартов и инфраструктуры, которые влияют на функционирование систем ИИ в масштабах всей отрасли. Компания, стоимость которой в настоящее время оценивается почти в 350 миллиардов долларов, зарекомендовала себя как альтернатива OpenAI, ориентированная на безопасность, и конституция укрепляет эту идентичность.

Anthropic опубликовала документ под лицензией Creative Commons CC0, позволяющей любому свободно использовать его. Конституция интегрирована в обучающие данные Claude и помогает генерировать синтетические обучающие примеры, что делает ее одновременно философским заявлением и техническим компонентом, определяющим поведение модели.

«Мы признаем, что некоторые из наших нынешних взглядов в конечном итоге могут оказаться ошибочными или даже глубоко ошибочными в ретроспективе, — признала Anthropic, — но мы планируем обновлять конституцию по мере развития обстоятельств и углубления наших знаний».

Эта скромность, возможно, является наиболее замечательным качеством документа. В области, где часто говорят в категориях абсолютов, Anthropic представила 23 000 слов тщательно обдуманной неопределенности — в отношении этики, сознания, будущего ИИ и того, создаем ли мы сущности, которые заслуживают морального размышления.

На данный момент ответ заключается в том, что никто не знает. По крайней мере, конституция Anthropic обладает честностью, чтобы признать это.