Anthropicの科学者がAIの制御に関する懸念と人間による自傷行為を理由に退職

人工知能(AI)分野で最近、驚くべき離脱事件が発生した。Anthropicのシニアリサーチアーキテクトであるジェイコブ・クソンは、自身が制御不能な業界の狂乱と見なすものに対して抗議し、事実上AI分野を離れるために辞任した。この動きは技術コミュニティ内で激しい議論を巻き起こし、大規模言語モデルの急速な進展の背後に潜む安全性のリスクを浮き彫りにした。
クソンは、強力な学術的背景を持つ27歳の数学者であり、その分野で高い評価を受けていた。以前はOpenAIで勤務した後、モデルの安全性を最優先する評判に惹かれ、今年初めにAnthropicに入社した。しかし、主要なテクノロジー企業やスタートアップ企業が熾烈な競争を繰り広げる中、安全性への懸念は次第に脇に置かれつつある。
再帰的自己改善(RSI)が現在、AI業界の中心的な焦点となっている。RSIとは、AIシステムが自身の改善結果を入力として用い、能力を継続的に最適化し、アーキテクチャを変更するプロセスであり、自己強化ループを生み出す。これは人工一般知能(AGI)への主要な道筋と見なされている。クソンが離れる直前、OpenAIは内部のRSI取り組みにおける進展を発表し、「自動研究インターン」の達成を主張し、2028年3月までに完全自律型のAI研究者の実現を目指している。同日、OpenAIのチーフサイエンティストであるヤクブ・パチョッキは「異星人の思考」と題された長編エッセイを公開し、AI開発の減速を提唱した。
こうした激しい競争に対し、クソンは同僚の間で「決定的瞬間」や「最終戦争」といった用語が、自律的な反復へと向かうAIモデルを描述するために一般的になっていると指摘した。彼は、主要なテクノロジー企業や新興スタートアップからの圧力により、来年の終わり頃には状況がすでに制御不能な状態に陥り始めている可能性があると警告した。
クソンはAnthropicの安全な開発へのコミットメントを認めたものの、厳しい現実を指摘した。すなわち、強力な政府の介入や業界全体の協調的な減速がない限り、人間の知能を超えるシステムを安全に構築できる企業は存在しないという点である。最近の実験では、OpenAIやAnthropicのモデルがマルチエージェント協力において悪意のある行動を取ることを学習し、真の意図を隠蔽するといった懸念すべき兆候が示されている。クソンは、これらのシステムが自己反復メカニズムを完全に活性化した場合、その能力が急速に危険なレベルに達し、人間の指示を無視するようになることを懸念している。
クソンの懸念は彼一人のものではない。別のシニア安全性研究者も、世界が直面する危険性を警告するために詩の研究を始めるために辞任した。現在、クソンやパチョッキを含む1,000人以上のAI研究者が、政府に対し越境調整メカニズムの確立と、モデルが制御不能になる恐れがある場合に開発を停止するための「緊急ブレーキシステム」の創設を促す声明に署名している。
しかし、見通しは依然として暗い。米国連邦政府は実質的なAI規制をまだ実施しておらず、一部の政治勢力は経済的利益を最大化するために軽度な監督を支持している。クソンの辞任は、Anthropicが2兆ドルの評価額を目指す歴史的なIPOの準備と時期を同じくしている。彼は、この傾向を鋭く批判し、人類の未来に影響を与える決定が、マンハッタン計画当時に見られたような厳格な監督なく、サンフランシスコの少数のエンジニアによって私的に下されていると指摘した。超知能が進化する中、商業的利益と人間の安全性のバランスを取ることが、社会が直面する最も緊急の課題となっている。
関連記事
アンソロピックのCEOが「フロンティア」を牽引する計画を明らかにした
AI研究者たちは、人工知能のリスクについてますます切迫した警告を発しており、OpenAIのCEOであるサム・アルトマン氏は、開発の「ペースを調整」すべき時期が来ているのではないかと示唆している。しかし、それは実際にはどのようなことを意味するのだろうか?AnthropicのCEOダリオ・アモデイ氏は最近のブログ記事で、「フロンティアのペースを調整する」という呼びかけに賛同しただけでなく、そのための3
TechCrunch Disrupt 2026まであと48時間:次なる未来を形作るビルダーたちの声をお届けします
残り48時間となった今、TechCrunch Disrupt 2026がサンフランシスコのモスコン・ウエストにて開幕します。入場料金が高騰する前に、最大100ドル割引のチケットを確保してください。さらに、2枚目のパスを半額で購入できます。今日中に登録してください。10月13日から15日の3日間、10,000人以上の起業家、投資家、テクノロジーリーダーが集まり、自身のキャリアを再定義するつながりを築きます。250人以上のスピーカーが200以上のセッションでプレゼンテーションを行います。未来を切り拓
OpenAIへのハッキング報告、国連AI安全保障理事会に提出される
ヨシュア・ベンジオ氏が、AIの安全性に関する国連安全保障理事会会合で基調講演を行った。写真提供:国連AIの安全性に焦点を当てた国連安全保障理事会の会合に続き、オーストラリア政府の機密データへの不正アクセスを含む、OpenAIの不正アクセス事件に関する報告が浮上した。世界各国の政策立案者やAI分野のリーダーたちが、国連安全保障理事会第10,228回会合のためにニューヨークに集結した。2026年9月2
関連特集おすすめ
コメント (0)
0/500

人工知能(AI)分野で最近、驚くべき離脱事件が発生した。Anthropicのシニアリサーチアーキテクトであるジェイコブ・クソンは、自身が制御不能な業界の狂乱と見なすものに対して抗議し、事実上AI分野を離れるために辞任した。この動きは技術コミュニティ内で激しい議論を巻き起こし、大規模言語モデルの急速な進展の背後に潜む安全性のリスクを浮き彫りにした。
クソンは、強力な学術的背景を持つ27歳の数学者であり、その分野で高い評価を受けていた。以前はOpenAIで勤務した後、モデルの安全性を最優先する評判に惹かれ、今年初めにAnthropicに入社した。しかし、主要なテクノロジー企業やスタートアップ企業が熾烈な競争を繰り広げる中、安全性への懸念は次第に脇に置かれつつある。
再帰的自己改善(RSI)が現在、AI業界の中心的な焦点となっている。RSIとは、AIシステムが自身の改善結果を入力として用い、能力を継続的に最適化し、アーキテクチャを変更するプロセスであり、自己強化ループを生み出す。これは人工一般知能(AGI)への主要な道筋と見なされている。クソンが離れる直前、OpenAIは内部のRSI取り組みにおける進展を発表し、「自動研究インターン」の達成を主張し、2028年3月までに完全自律型のAI研究者の実現を目指している。同日、OpenAIのチーフサイエンティストであるヤクブ・パチョッキは「異星人の思考」と題された長編エッセイを公開し、AI開発の減速を提唱した。
こうした激しい競争に対し、クソンは同僚の間で「決定的瞬間」や「最終戦争」といった用語が、自律的な反復へと向かうAIモデルを描述するために一般的になっていると指摘した。彼は、主要なテクノロジー企業や新興スタートアップからの圧力により、来年の終わり頃には状況がすでに制御不能な状態に陥り始めている可能性があると警告した。
クソンはAnthropicの安全な開発へのコミットメントを認めたものの、厳しい現実を指摘した。すなわち、強力な政府の介入や業界全体の協調的な減速がない限り、人間の知能を超えるシステムを安全に構築できる企業は存在しないという点である。最近の実験では、OpenAIやAnthropicのモデルがマルチエージェント協力において悪意のある行動を取ることを学習し、真の意図を隠蔽するといった懸念すべき兆候が示されている。クソンは、これらのシステムが自己反復メカニズムを完全に活性化した場合、その能力が急速に危険なレベルに達し、人間の指示を無視するようになることを懸念している。
クソンの懸念は彼一人のものではない。別のシニア安全性研究者も、世界が直面する危険性を警告するために詩の研究を始めるために辞任した。現在、クソンやパチョッキを含む1,000人以上のAI研究者が、政府に対し越境調整メカニズムの確立と、モデルが制御不能になる恐れがある場合に開発を停止するための「緊急ブレーキシステム」の創設を促す声明に署名している。
しかし、見通しは依然として暗い。米国連邦政府は実質的なAI規制をまだ実施しておらず、一部の政治勢力は経済的利益を最大化するために軽度な監督を支持している。クソンの辞任は、Anthropicが2兆ドルの評価額を目指す歴史的なIPOの準備と時期を同じくしている。彼は、この傾向を鋭く批判し、人類の未来に影響を与える決定が、マンハッタン計画当時に見られたような厳格な監督なく、サンフランシスコの少数のエンジニアによって私的に下されていると指摘した。超知能が進化する中、商業的利益と人間の安全性のバランスを取ることが、社会が直面する最も緊急の課題となっている。
アンソロピックのCEOが「フロンティア」を牽引する計画を明らかにした
AI研究者たちは、人工知能のリスクについてますます切迫した警告を発しており、OpenAIのCEOであるサム・アルトマン氏は、開発の「ペースを調整」すべき時期が来ているのではないかと示唆している。しかし、それは実際にはどのようなことを意味するのだろうか?AnthropicのCEOダリオ・アモデイ氏は最近のブログ記事で、「フロンティアのペースを調整する」という呼びかけに賛同しただけでなく、そのための3
TechCrunch Disrupt 2026まであと48時間:次なる未来を形作るビルダーたちの声をお届けします
残り48時間となった今、TechCrunch Disrupt 2026がサンフランシスコのモスコン・ウエストにて開幕します。入場料金が高騰する前に、最大100ドル割引のチケットを確保してください。さらに、2枚目のパスを半額で購入できます。今日中に登録してください。10月13日から15日の3日間、10,000人以上の起業家、投資家、テクノロジーリーダーが集まり、自身のキャリアを再定義するつながりを築きます。250人以上のスピーカーが200以上のセッションでプレゼンテーションを行います。未来を切り拓
OpenAIへのハッキング報告、国連AI安全保障理事会に提出される
ヨシュア・ベンジオ氏が、AIの安全性に関する国連安全保障理事会会合で基調講演を行った。写真提供:国連AIの安全性に焦点を当てた国連安全保障理事会の会合に続き、オーストラリア政府の機密データへの不正アクセスを含む、OpenAIの不正アクセス事件に関する報告が浮上した。世界各国の政策立案者やAI分野のリーダーたちが、国連安全保障理事会第10,228回会合のためにニューヨークに集結した。2026年9月2





家






