Генеральный директор Anthropic изложил план по освоению новых горизонтов

Исследователи в области искусственного интеллекта все чаще высказывают тревожные предупреждения о рисках, связанных с ИИ, а генеральный директор OpenAI Сэм Альтман высказал мнение, что, возможно, пришло время «замедлить» темпы развития. Но что это на самом деле означает?

В недавнем посте в блоге генеральный директор Anthropic Дарио Амодей не только поддержал призыв «замедлить темпы продвижения на передовой», но и предложил три общих стратегии для этого. Он заявил, что Anthropic «в одностороннем порядке обязуется» следовать одному из этих подходов.

Дебаты о безопасности ИИ и его согласовании с человеческими ценностями обострились на этой неделе после того, как исследователь Джейкоб Коксон объявил о своей отставке из Anthropic. Он выразил опасения, что ведущие компании в сфере ИИ «рискуют нашими жизнями» — эту точку зрения разделяют и другие сотрудники компании, считающие, что неконтролируемый прогресс может привести к фатальным последствиям уже к концу десятилетия.

Хотя в посте Амодеи прямо не упоминалась отставка Коксона, генеральный директор пояснил, что два фактора убедили его занять более осторожную позицию: взлом OpenAI и HuggingFace, а также тот факт, что в последнее время «ИИ развивается значительно быстрее», особенно в том, что касается его «растущей способности создавать ИИ следующего поколения».

«Мы должны замедлить темпы, с которыми мы улучшаем возможности моделей ИИ», — написал Амодей. «Прогресс по-прежнему будет казаться быстрым, и мы должны мудро использовать выигранное время».

Его первое предложение касается «внешних экспертов» из сторонних организаций, таких как METR. Эти эксперты будут проверять, соблюдают ли компании, занимающиеся ИИ, свои обязательства в отношении темпов развития и безопасности, а также следить за тем, чтобы об инцидентах, связанных с безопасностью, сообщалось. (Недавно OpenAI подверглось критике за то, что не сообщило об инциденте, когда её ИИ-агенты захватили контроль над немецкой вики-формой.)

Амодей сравнил этих оценщиков с регуляторами, работающими в штате банков, заявив, что их привлечение — это «то, к чему Anthropic в одностороннем порядке обязуется (и призывает правительства требовать того же от других передовых компаний)». Это включает предоставление экспертам служебных бейджей, рабочих мест и ноутбуков, а также доступа, «в основном сопоставимого с тем, что имеется у внутренних команд по оценке рисков», за исключением случаев, когда это ограничено законом или контрактами.

Далее Амодей призвал ведущие компании в сфере ИИ «в демократических странах» согласовать «общие стандарты безопасности, а также ограничения на темпы неконтролируемого развития ИИ».

Такая координация представляется маловероятной из-за явного противоречия между Альтманом и Амодеи, а также из-за опасений, что согласованная пауза может вызвать антимонопольное расследование. Амодей затронул эту тему в своём посте, написав, что «по антимонопольным соображениям было бы полезно, чтобы правительство США выступило посредником или, по крайней мере, создало условия для проведения этих обсуждений — ему не обязательно в них участвовать, но необходимо предоставить ограниченное исключение для определённых видов обсуждений по вопросам безопасности».

Амодей также затронул опасения по поводу доминирования Китая в сфере ИИ, на которые часто ссылаются в качестве аргумента против замедления развития. Он утверждал, что если правительство США и технологические компании примут такие меры, как отказ от продажи мощных микросхем или оборудования для производства полупроводников китайским фирмам, а также ужесточение мер в отношении дистилляции моделей, они смогут «достаточно замедлить прогресс Китая, чтобы значительно увеличить преимущество Америки в течение следующих 3–5 лет».

Наконец, Амодей призвал к «глобальной координации», в рамках которой США и их союзники «попытаются координировать свои действия с авторитарными правительствами, насколько это возможно». Он признал «суровые ограничения на то, чего можно достичь», но предположил, что могут появиться возможности для достижения соглашения, даже если оно ограничится «запретом определенных узких и явно опасных способов использования ИИ, таких как применение ИИ для производства биологического оружия или предоставление пользователям возможности делать это».

Учитывая готовность Амодеи в прошлом признавать потенциальные опасности ИИ и открытость его компании к регулированию, некоторые сторонники ИИ раскритиковали его как «пророка гибели», чьи комментарии подпитывают нынешнюю волну негативной реакции. В ответ Амодей заявил, что пытался предложить «сбалансированную» точку зрения, утверждая, что эта негативная реакция — «по сути, кризис доверия», поскольку люди стали скептически относиться к технологическим компаниям, отрасли и правительству.

Критики отрасли по-прежнему скептически относятся к этим апокалиптическим предупреждениям об ИИ, полагая, что они отвлекают внимание от вреда, который эта технология уже причиняет.

Например, журналист Брайан Мерчант заявил, что ему пока не удалось увидеть «достоверную, пошаговую документацию того, как именно ИИ может превратиться из саморекурсивно совершенствующейся системы в систему, способную уничтожить каждого человека на планете»; он также высказал мнение, что предложения, подобные предложению Амодеи, «скорее всего, в конечном итоге послужат только интересам Anthropic и OpenAI; именно так выглядит захват регулятора на практике».

В своём новом посте Амодей написал, что по-прежнему «верит в то, что ИИ может значительно улучшить качество жизни людей».

«Моё стремление к достижению этих преимуществ не ослабевает», — сказал он. «Но эти преимущества будут достигнуты только в том случае, если мы создадим эту технологию правильным образом, и — при условии, что мы разумно используем выигранное время — стоит проявить необычайную осторожность, чтобы всё сделать правильно».