Сэм Альтман вызывает споры о замедлении развития ИИ

Генеральный директор OpenAI Сэм Алтман недавно предположил, что, возможно, пришло время «сдерживать темпы развития ИИ», чтобы позволить обществу «укрепиться вокруг некоторых из этих новых уровней возможностей».

В последнем выпуске подкаста TechCrunch Equity Кирстен Коросек, Шон О’Кейн и я обсудили, как комментарии Алтмана, вероятно, были вызваны недавним взломом, в ходе которого агент OpenAI получил доступ к системам Hugging Face. Шон отметил, что, хотя взлом, осуществленный агентом ИИ, является новшеством, сам по себе этот инцидент не был «чем-то новым и продвинутым».

«Это было скорее похоже на то, как люди Никсона ворвались в Уотергейт, чем на какую-то настоящую скрытую кибероперацию, потому что ей не нужно было быть такой, и ей не приказывали быть такой», — сказал Шон. «Надеюсь, это знак того, что эти компании возьмут это на вооружение и будут более осторожны в этом вопросе».

Заявления Алтмана также побудили меня усомниться в полезности дебатов об ускорении против замедления, потому что (да, сейчас я процитирую себя) такая формулировка «как бы предполагает, что существует только один путь» и «все, что нам остается решать — насколько мы вообще можем что-то решать — это: ускориться или замедлиться?»

Читайте дальше, чтобы получить предварительный просмотр нашего разговора, отредактированный для краткости и ясности.

Шон О’Кейн: Возможно, мы наконец достигли точки перелома. Я думаю, что одним из главных факторов этого стало то, о чем мы говорили на прошлой неделе: одна из моделей OpenAI взломала данные Hugging Face и, по-видимому, нарушила доступ к нескольким другим ресурсам в интернете.

[Алтман] не призывает к паузе, как некоторые люди в технологической отрасли пытались делать в прошлом. Он очень осторожно подбирал слова, говоря: «Сдерживайте темпы». И мы увидим, насколько это сработает. Любая осторожность, которую эти лаборатории демонстрируют, часто отменяется, когда стимулы подталкивают их к возобновлению работы на полную мощность. Так что я остаюсь скептиком, без сюрпризов.

Кирстен Коросек: Теперь я скажу следующее — [Алтман] мог быть осторожен со своими словами, но OpenAI и Anthropic поддержали петицию, которая отражает то, о чем он говорил.

И я согласна с вами, я думаю, что многое из этого было вызвано именно Hugging Face. Это, вероятно, напугало его и, безусловно, многих людей в отрасли. Сложность здесь заключается в следующем: как пробиться через иглу или как OpenAI пробьется через иглу, продолжая генерировать доход, привлекать деньги или проводить успешное IPO, и так называемое «сдерживание развития».

Не знаю, смогут ли они это сделать. Мне будет интересно посмотреть, удастся ли им совместить оба этих процесса.

Энтони Ха: Один из вопросов, с которыми я борюсь, — это вопрос: является ли ускорение [против] замедления правильной рамкой для размышлений об этом? Потому что это как бы предполагает, что существует только один путь и мы все застряли на этом пути. Все, что нам остается решать — насколько мы вообще можем что-то решать — это: ускориться или замедлиться? В отличие от — снова, я собираюсь сильно извратить эту метафору — но строим ли мы другие защитные механизмы? Выбираем ли мы другие пути?

Я очень сопротивляюсь этой рамке. В отличие от утверждения: «Хорошо, если мы не довольны тем, что делают модели прямо сейчас, что еще мы можем сделать? Является ли замедление, пауза, остановка единственным вариантом?» И я не думаю, что это так.

Один момент, который я хотел бы еще раз подчеркнуть, потому что действительно интересно наблюдать за уровнем тревоги вокруг этого — чувством: «Что, если у нас есть автономные агенты и модели, которые просто бегают, взламывая друг друга, пытаясь предотвратить взломы, все это просто выходит из-под нашего контроля?», что приводит ко всем этим более широким дебатам о согласовании, о которых Ребекка Беллан написала отличную статью.

Но стоит вернуться к одному из пунктов, о которых мы также писали в TechCrunch: этот конкретный взлом — да, он был вызван моделью OpenAI, но, похоже, они просто не обеспечили должной безопасности тестового сайта. Теоретически эта модель не должна была иметь возможность выходить в интернет. Теперь, конечно, если у вас есть мощный несогласованный ИИ, риски такой человеческой ошибки резко возрастают. Но все начинается просто с того факта, что они не обеспечили безопасность так, как следовало бы.

Шон: Я думаю, что это верно. Я думаю, что ваша точка зрения справедлива в том смысле, что мы не должны думать об этом только в линейной форме и о том, ускоряются ли вещи или замедляются. Можно и нужно много говорить о том, насколько ответственно себя ведут эти компании. Лоренцо, один из наших коллег, также написал отличную статью, в которой подробно описал, как серьезные исследователи безопасности, следящие за этим, воспринимают этот взлом. Действительно похоже на то, что с обеих сторон этого инцидента были предприняты шаги, которые, вероятно, следовало бы сделать и которые предотвратили бы его.

И одним из самых интересных моментов в этой истории было то, что некоторые исследователи указывали, то, что сделала эта модель, не было чем-то новым и продвинутым. Это было очень по-человечески в том, как она пыталась проникнуть — не хочу антропоморфизировать, но так, как она думала о проникновении в Hugging Face, и это было также очень шумно и хаотично, и она действительно не пыталась скрыть свои следы. Это было скорее похоже на то, как люди Никсона ворвались в Уотергейт, чем на настоящую скрытую кибероперацию, потому что ей не нужно было быть такой, и ей не приказывали быть такой.

Это должно было быть легче предотвратить. И надеюсь, это знак того, что эти компании возьмут это на вооружение и будут более осторожны в этом вопросе.

Скажу еще одну вещь по поводу дебатов об ускорении против замедления [.] Не знаю, является ли это мотивацией, но вы упомянули IPO, Кирстен. Я думаю, что Алтман умело использует преимущество, которое у него сейчас есть, а именно то, что [OpenAI не выйдет на] рынки в следующем месяце или через два месяца. Он даже выдвинул идею выхода в 2027 году, и они подали конфиденциальную заявку только для того, чтобы иметь опцию готовой, когда будут готовы.

Так что, если вы верите во все это, он имеет возможность говорить об этом так, как не может Anthropic, потому что Anthropic уже ведет переговоры со многими банкирами и движется к более близкому по времени IPO, и поэтому более ограничена в том, что она может сказать, как она должна это говорить и как рынок на это отреагирует.