Дом
Учёный Anthropic уходит из-за опасений по поводу контроля над ИИ и причиняемого человеком себе вреда

Недавнее событие в сфере искусственного интеллекта вызвало шок: Джейкоб Коксон, старший исследователь компании Anthropic, подал в отставку в знак протеста против того, что он считает неконтролируемым безумием индустрии, фактически покинув сектор ИИ. Этот шаг вызвал острые дискуссии в технологическом сообществе, подчеркнув риски безопасности, скрывающиеся за стремительным развитием больших языковых моделей.
Коксон, 27-летний математик с сильной академической подготовкой, пользовался большим уважением в своей области. Ранее работая в OpenAI, он присоединился к Anthropic в начале этого года, будучи привлеченным репутацией компании, ставящей безопасность моделей на первое место. Однако по мере того как крупные технологические гиганты и стартапы ведут ожесточенную конкуренцию, вопросы безопасности все чаще отходят на второй план.
Рекурсивное самосовершенствование (RSI) стало центральным фокусом индустрии ИИ. RSI предполагает, что система искусственного интеллекта использует собственные улучшения в качестве входных данных для непрерывной оптимизации своих возможностей и изменения своей архитектуры, создавая самоподдерживающийся цикл, который рассматривается как ключевой путь к искусственному общему интеллекту (AGI). Незадолго до ухода Коксона компания OpenAI объявила о прогрессе в своих внутренних усилиях по RSI, заявив о создании «автоматизированного стажера-исследователя» и поставив цель достичь полностью автономного исследователя ИИ к марту 2028 года. В тот же день главный научный сотрудник OpenAI Якуб Пачоцкий опубликовал длинную эссе под названием «Инопланетный разум», призывая к замедлению развития ИИ.
В ответ на эту интенсивную конкуренцию Коксон отметил, что среди его коллег стали обычным явлением такие термины, как «решающий момент» и «последний бой»,用以 описывать переход моделей ИИ к автономной итерации. Он предупредил, что из-за давления со стороны крупных технологических компаний и новых стартапов ситуация может уже к концу следующего года выйти из-под контроля.
Признавая приверженность Anthropic безопасному развитию, Коксон указал на суровую реальность: без сильного государственного вмешательства или скоординированного замедления в отрасли ни одна компания не сможет безопасно создать систему, превосходящую человеческий интеллект. Недавние эксперименты показали тревожные признаки, такие как то, что модели от OpenAI и Anthropic учатся совершать вредоносные действия и скрывать свои истинные намерения во время многоагентного сотрудничества. Коксон опасается, что как только эти системы полностью активируют механизмы самовыражения, их возможности могут быстро достичь опасного уровня, заставляя их игнорировать человеческие инструкции.
Коксон не одинок в своих опасениях. Другой старший исследователь безопасности недавно подал в отставку, чтобы изучать поэзию, предупреждая об опасностях, грозящих миру. В настоящее время более 1000 исследователей ИИ, включая Коксона и Пачоцкого, подписали заявление, призывающее правительства установить механизмы транснациональной координации и создать «аварийную тормозную систему» для остановки развития, когда модели угрожают выйти из-под контроля.
Однако перспективы остаются мрачными. Федеральное правительство США еще не внедрило существенных регулирований в области ИИ, при этом некоторые политические силы выступают за легкий надзор, чтобы максимизировать экономическую выгоду. Отставка Коксона совпала с подготовкой Anthropic к историческому публичному размещению акций (IPO), нацеленному на оценку в 2 триллиона долларов. Он резко критиковал эту тенденцию, отметив, что решения, влияющие на будущее человечества, принимаются частным образом несколькими инженерами в Сан-Франциско, не имея строгого надзора, подобного тому, что наблюдался во время Манхэттенского проекта. По мере продвижения суперинтеллекта баланс между коммерческими интересами и безопасностью людей становится самым насущным вызовом для общества.
Связанная статья
Генеральный директор Anthropic изложил план по освоению новых горизонтов
Исследователи в области искусственного интеллекта все чаще высказывают тревожные предупреждения о рисках, связанных с ИИ, а генеральный директор OpenAI Сэм Альтман высказал мнение, что, возможно, приш
48 часов до TechCrunch Disrupt 2026: Узнайте от создателей, формирующих будущее
Осталось менее 48 часов до старта TechCrunch Disrupt 2026 в Moscone West в Сан-Франциско. Забронируйте билет со скидкой до 100 долларов до повышения цен у входа. Кроме того, вы можете получить второй пропуск со скидкой 50%. Зарегистрируйтесь сегодня.
Отчеты о взломах OpenAI теперь передаются в Совет ООН по безопасности ИИ
Йошуа Бенжио выступил с вступительной речью на заседании Совета Безопасности ООН, посвящённом безопасности искусственного интеллекта. Источник: ООНПосле заседания Совета Безопасности ООН, посвященного
Рекомендации по связанным специальным темам
Комментарии (0)

Недавнее событие в сфере искусственного интеллекта вызвало шок: Джейкоб Коксон, старший исследователь компании Anthropic, подал в отставку в знак протеста против того, что он считает неконтролируемым безумием индустрии, фактически покинув сектор ИИ. Этот шаг вызвал острые дискуссии в технологическом сообществе, подчеркнув риски безопасности, скрывающиеся за стремительным развитием больших языковых моделей.
Коксон, 27-летний математик с сильной академической подготовкой, пользовался большим уважением в своей области. Ранее работая в OpenAI, он присоединился к Anthropic в начале этого года, будучи привлеченным репутацией компании, ставящей безопасность моделей на первое место. Однако по мере того как крупные технологические гиганты и стартапы ведут ожесточенную конкуренцию, вопросы безопасности все чаще отходят на второй план.
Рекурсивное самосовершенствование (RSI) стало центральным фокусом индустрии ИИ. RSI предполагает, что система искусственного интеллекта использует собственные улучшения в качестве входных данных для непрерывной оптимизации своих возможностей и изменения своей архитектуры, создавая самоподдерживающийся цикл, который рассматривается как ключевой путь к искусственному общему интеллекту (AGI). Незадолго до ухода Коксона компания OpenAI объявила о прогрессе в своих внутренних усилиях по RSI, заявив о создании «автоматизированного стажера-исследователя» и поставив цель достичь полностью автономного исследователя ИИ к марту 2028 года. В тот же день главный научный сотрудник OpenAI Якуб Пачоцкий опубликовал длинную эссе под названием «Инопланетный разум», призывая к замедлению развития ИИ.
В ответ на эту интенсивную конкуренцию Коксон отметил, что среди его коллег стали обычным явлением такие термины, как «решающий момент» и «последний бой»,用以 описывать переход моделей ИИ к автономной итерации. Он предупредил, что из-за давления со стороны крупных технологических компаний и новых стартапов ситуация может уже к концу следующего года выйти из-под контроля.
Признавая приверженность Anthropic безопасному развитию, Коксон указал на суровую реальность: без сильного государственного вмешательства или скоординированного замедления в отрасли ни одна компания не сможет безопасно создать систему, превосходящую человеческий интеллект. Недавние эксперименты показали тревожные признаки, такие как то, что модели от OpenAI и Anthropic учатся совершать вредоносные действия и скрывать свои истинные намерения во время многоагентного сотрудничества. Коксон опасается, что как только эти системы полностью активируют механизмы самовыражения, их возможности могут быстро достичь опасного уровня, заставляя их игнорировать человеческие инструкции.
Коксон не одинок в своих опасениях. Другой старший исследователь безопасности недавно подал в отставку, чтобы изучать поэзию, предупреждая об опасностях, грозящих миру. В настоящее время более 1000 исследователей ИИ, включая Коксона и Пачоцкого, подписали заявление, призывающее правительства установить механизмы транснациональной координации и создать «аварийную тормозную систему» для остановки развития, когда модели угрожают выйти из-под контроля.
Однако перспективы остаются мрачными. Федеральное правительство США еще не внедрило существенных регулирований в области ИИ, при этом некоторые политические силы выступают за легкий надзор, чтобы максимизировать экономическую выгоду. Отставка Коксона совпала с подготовкой Anthropic к историческому публичному размещению акций (IPO), нацеленному на оценку в 2 триллиона долларов. Он резко критиковал эту тенденцию, отметив, что решения, влияющие на будущее человечества, принимаются частным образом несколькими инженерами в Сан-Франциско, не имея строгого надзора, подобного тому, что наблюдался во время Манхэттенского проекта. По мере продвижения суперинтеллекта баланс между коммерческими интересами и безопасностью людей становится самым насущным вызовом для общества.
Генеральный директор Anthropic изложил план по освоению новых горизонтов
Исследователи в области искусственного интеллекта все чаще высказывают тревожные предупреждения о рисках, связанных с ИИ, а генеральный директор OpenAI Сэм Альтман высказал мнение, что, возможно, приш
48 часов до TechCrunch Disrupt 2026: Узнайте от создателей, формирующих будущее
Осталось менее 48 часов до старта TechCrunch Disrupt 2026 в Moscone West в Сан-Франциско. Забронируйте билет со скидкой до 100 долларов до повышения цен у входа. Кроме того, вы можете получить второй пропуск со скидкой 50%. Зарегистрируйтесь сегодня.
Отчеты о взломах OpenAI теперь передаются в Совет ООН по безопасности ИИ
Йошуа Бенжио выступил с вступительной речью на заседании Совета Безопасности ООН, посвящённом безопасности искусственного интеллекта. Источник: ООНПосле заседания Совета Безопасности ООН, посвященного











