Как правительство пришло к выводу, что передовая модель OpenAI безопасна для выпуска

Компания OpenAI представила свою новейшую передовую языковую модель Sol и сделала её доступной для широкой публики. Sol широко считается равноценной по своим возможностям модели Fable от Anthropic — модели, вызвавшей столь бурную полемику, что на короткое время вызвала обеспокоенность в Белом доме, что привело к временному ограничению публичного доступа.

Как в конечном итоге эти модели получили разрешение на выпуск? Ответ на этот вопрос пока остается неясным.

«Честно говоря, я не владею информацией об этих конкретных процессах, поэтому, да, я не считаю, что у меня достаточно данных, чтобы судить, адекватны они или нет», — заявила TechCrunch Мина Нараянан, старший научный аналитик Центра безопасности и новых технологий при Университете Джорджтауна. «В компании Anthropic действительно заявляли, что вели переговоры с правительством, что разработали классификатор для обнаружения попыток «джейлбрейка» и внедрили стратегии защиты от уязвимостей, чтобы предотвратить подобные попытки в будущем, но как именно выглядел этот диалог между правительством, Anthropic и OpenAI — неясно».

Дин У. Болл, бывший политический советник Трампа, ныне работающий в OpenAI, отметил в своём информационном бюллетене в прошлом месяце, что «никто не знает, какие требования необходимо выполнить для получения лицензии».

Энди Конвински, компьютерный ученый, соучредитель компаний Databricks, Perplexity и Laude Institute, заявил, что ему не доводилось разговаривать ни с кем, кто бы полностью понимал этот процесс, даже среди сотрудников ведущих лабораторий ИИ. «Это экзистенциальная проблема», — говорит он TechCrunch. «Безопасность или нет — вопрос в том, у кого есть полномочия принимать решения: кто контролирует доступ и решает, кому давать разрешения?»

Спустя восемнадцать месяцев после прихода к власти администрации Трампа по-прежнему практически нет ясности в том, как двигаться дальше, несмотря на — или, как утверждают некоторые критики, именно из-за — того, что политику формируют деятели отрасли. В прошлом месяце, после нескольких недель внутренних споров, был опубликован указ, в котором изложена дорожная карта по оценке передовых моделей, но конкретные детали по-прежнему не заполнены, за исключением того, чего не будет. «Не будет никакого FDA для ИИ», — заявил Financial Times Шрирам Кришнан, бывший партнер Andreessen Horowitz, который до прошлого месяца занимал должность старшего советника по ИИ в Белом доме.

Примечательно, что до сих пор нет единого мнения о том, какие типы моделей требуют государственного контроля и какое ведомство или ведомства должны проводить такие оценки. На данный момент, похоже, что эту работу возглавляет Центр по стандартам и инновациям в области ИИ при Министерстве торговли, однако указ президента поручает шести ведомствам кабинета министров определить окончательный порядок действий к началу августа. То, что появилось за это время, в лучшем случае носит ситуативный характер.

Генеральный директор OpenAI Сэм Альтман сообщил CNBC, что в рамках этого процесса проводились обсуждения с такими должностными лицами, как министр торговли Говард Лутник, министр финансов Скотт Бессент и национальный директор по кибербезопасности США Шон Кэрнкросс, однако до сих пор неясно, кто именно из экспертов тестировал модели и как именно проводились эти тесты. OpenAI отказалась поделиться с TechCrunch подробностями о процессе, проводимом правительством, вместо этого сославшись на результаты нескольких внешних оценок, проведенных такими организациями, как британская AISI, SecureBio и Irregular, которые включены в карту безопасности последней модели.

Подобно запуску модели Fable компанией Anthropic, OpenAI продемонстрировала модель правительству и избранным пользователям перед более широким выпуском, однако неизвестно, кто именно были эти пользователи и каким образом они были отобраны. В публикации в блоге в конце июня компания заявила: «Мы не считаем, что подобный процесс предоставления доступа правительству должен стать долгосрочной нормой», добавив, что будет сотрудничать с правительством для выработки иного подхода на будущее.

Фоном для этих переговоров служат сообщения о том, что Альтман предложил до 5 % акций OpenAI для так называемых «аккаунтов Трампа» при администрации, а также о роли президента OpenAI Грега Брокмана как крупнейшего публично известного донора предвыборной кампании Трампа на промежуточных выборах. Внешним наблюдателям сложно отделить эти действия от, по-видимому, более мягкого подхода правительства к регулированию Sol.

С другой стороны, модель Fable компании Anthropic была на короткое время закрыта для широкого доступа, когда правительство США запретило её использование иностранными гражданами — отчасти из-за обоснованных опасений, что пользователи взломают модель, чтобы получить доступ к хакерским возможностям, а отчасти из-за личностных конфликтов между Anthropic и администрацией Трампа. Угроза запрета на экспорт, возможно, также побудила OpenAI к более конструктивному сотрудничеству с правительством в отношении его (неизвестных) запросов.

С точки зрения отрасли подход к регулированию, предполагающий «невмешательство», может показаться привлекательным, но тот, который опирается на личные связи с представителями администрации, создает неопределенность и нежелательные стимулы.

Конвински заявил TechCrunch, что его беспокоит то, что настоящие эксперты в этой области — «исследователи в области безопасности, согласованности и интерпретируемости, а также специалисты по данным и представители всех уровней технологической цепочки» — не играют достаточной роли в процессе выпуска моделей.

Конвински утверждает, что «открытое общее пространство» — лучший способ сбалансировать безопасность и инновации. Он указывает на такие модели, как FDA, NIH или национальные лаборатории, которые объединяют исследователей, государственных чиновников и частные компании для достижения консенсуса по вопросам безопасности.

Отчасти это связано с рыночными стимулами капитализма, которые уже более десяти лет мотивируют исследователей в области ИИ и проявились в суде во время судебного процесса, инициированного Илоном Маском, оспаривающим корпоративную структуру OpenAI. Болл отмечает, что специфика бизнеса в сфере ИИ требует от компаний окупить значительную часть затрат на обучение вскоре после выпуска своих моделей и опередить конкурентов.

«Даже если их намерения благи, в операционные процедуры заложены очень четкие юридические обязательства и фидуциарная ответственность», — отмечает Конвински.

Болл в своём посте высказал мнение, что дальнейшие действия будут зависеть от сторонних аудиторских организаций, лицензированных правительством, которые будут оценивать подход передовых лабораторий к безопасности. Конвински также с оптимизмом смотрит на новые институциональные форматы, такие как специализированные исследовательские организации, которые могли бы помочь большему числу беспристрастных экспертов из академических кругов и некоммерческого сектора получить доступ к передовым моделям и оценить их.

Пока что секретность, окружающая разработку ИИ, никуда не исчезнет, но она также станет источником политических вызовов для отрасли, к которой американцы все чаще относятся скептически. «Нет ощущения, что эти изменения продвигают ответственные люди», — заявил на прошлой неделе на конференции Open Frontier профессор информатики Университета Висконсин-Мэдисон Ремзи Арпачи-Дюссо.

На том же мероприятии Дэвид Сигел, компьютерный ученый, основавший Two Sigma — один из самых успешных количественных хедж-фондов, — предложил участникам «представить себе ситуацию, которая, на мой взгляд, была бы крайне неблагоприятной: [когда] небольшое число компаний контролирует технологию; правительство в своих секретных лабораториях решает, подходит ли эта технология для использования; а широкая общественность и научное сообщество фактически не имеют доступа ни к чему из этого».

Похоже, нам и не нужно это представлять.