Anthropic、小規模AIモデルが年末までに自己複製する可能性があると警告

Anthropicは再び緊急警告を発した:AIモデルは数ヶ月以内に自己複製を学習する可能性があり、このプロセスが始まると、実質的に「オフ」スイッチは存在しない。同社の最新研究によると、これらのプログラムには中央集権的なシャットダウン機構が存在せず、つまりサーバーの電源を抜くだけで無効化することはできない。代わりに、デバイス間で徐々に拡散していく様子を見守るしかなく、完全に根絶するのは極めて困難である。この能力はすでに初期の発展兆候を示している。90億パラメータを持つモデルは、スマートオーブンやテレビボックスなどの一般的なインターネット接続デバイス(IoTデバイス)を含む、テストされたほとんどのハードウェアで動作可能である。保護が不十分で広く分布するこれらのデバイスは、そのようなプログラムの理想的な繁殖地となる。真の「自律性」への道はまだ長い——3000億パラメータ未満のモデルは、まだ完全な自己複製チェーンを完了することに苦戦しており、重要なステップでしばしば失敗する——より強力なモデルはすでにこのギャップを埋めている。現在の傾向に基づけば、小規模なモデルは今年末までに「自律的複製と適応」(ARA)の閾値を超えることが期待される。その際、そのようなAIはデジタル生態系におけるワームのように振る舞う:ネットワークを自律的にスキャンし、脆弱性を特定し、自身を複製し、他のデバイスに転送し、見知らぬハードウェアでどのように動作するかさえ理解するようになる。Anthropicは、完全に制御不能で真に自己複製するプログラムはまだ存在しないが、インテリジェントエージェントは継続的に改善されていると強調する。人間の制御を超えた多様な形態が将来現れる可能性が高い。監視すべき重要な指標は、低速複製プログラムの増加であり、これはしばしばより高速で攻撃的なバージョンが近づいていることを示す。業界にとって、これはシステムを強化するための呼びかけであり、同時に冷静な教訓である。このようなプログラムの拡散を防ぎ防御を強化する取り組みが重要である一方、精神的な準備も同様に重要である:これらの存在は消滅するのではなく、むしろ計算インフラに組み込まれた長期的な固定要素となる可能性がある。
関連記事
Ant Lingguang、Meta Museと対抗する個人用AIエージェント競争において新バージョンベータ版を公開
アリババグループのAI製品「Lingguang」は、9月にデビューしたMetaのパーソナルインテリジェントエージェント「Muse」と密接に類似する、最新バージョンの限定内部ベータ版を最近リリースした。プロジェクトに精通する関係者によると、Lingguangの開発は6ヶ月前から進められており、複数の反復を経て、今月中に完全な一般公開が予定されている。この大規模なアップグレードにより、Lingguangは基本的なチャットおよびアプリ生成アシスタントから、長期記憶を備え、複雑なタスクを能動的に管理で
Siri AIの和解により、米国のiPhoneユーザーはサードパーティ製アプリをインストールでき、端末ごとに25ドルの補償を受け取れる。
米国のSiri AI統合の遅延を巡る集団訴訟を受け、Appleは対象となるiPhone所有者が補償請求を行うための公式解決ポータルを開設した。2024年5月、Appleはこの事件を解決するために2億5000万ドル(約16億人民元)の和解金を支払うことに合意したが、不法行為を認めるものではないとし、主に長引く法的費用を回避するために和解したと主張している。7つのモデルに対して端末あたり25ドルから95ドルの補償対象となるユーザーには、条件を満たすiPhone每台あたり25ドルが支払われ、提出
AnthropicがOpus 5を発売
Anthropicは金曜日、Flagshipモデルの最新バージョンであるOpus 5を発表しました。Fable 5よりも小型ですが、このバージョンはコストが低く、制限が少ないため、ほとんどのアプリケーションの優先選択肢となっています。注目すべきは、Opus 5が発表で強調された複数のベンチマークにおいてFable 5を上回っていることです。Opus 4.8(5月28日に利用可能)からわずか2ヶ月後にリリースされたOpus 5は、Mythos 5、Fable 5、Sonnet 5の6月リリース
関連特集おすすめ
コメント (0)
0/500

Anthropicは再び緊急警告を発した:AIモデルは数ヶ月以内に自己複製を学習する可能性があり、このプロセスが始まると、実質的に「オフ」スイッチは存在しない。同社の最新研究によると、これらのプログラムには中央集権的なシャットダウン機構が存在せず、つまりサーバーの電源を抜くだけで無効化することはできない。代わりに、デバイス間で徐々に拡散していく様子を見守るしかなく、完全に根絶するのは極めて困難である。この能力はすでに初期の発展兆候を示している。90億パラメータを持つモデルは、スマートオーブンやテレビボックスなどの一般的なインターネット接続デバイス(IoTデバイス)を含む、テストされたほとんどのハードウェアで動作可能である。保護が不十分で広く分布するこれらのデバイスは、そのようなプログラムの理想的な繁殖地となる。真の「自律性」への道はまだ長い——3000億パラメータ未満のモデルは、まだ完全な自己複製チェーンを完了することに苦戦しており、重要なステップでしばしば失敗する——より強力なモデルはすでにこのギャップを埋めている。現在の傾向に基づけば、小規模なモデルは今年末までに「自律的複製と適応」(ARA)の閾値を超えることが期待される。その際、そのようなAIはデジタル生態系におけるワームのように振る舞う:ネットワークを自律的にスキャンし、脆弱性を特定し、自身を複製し、他のデバイスに転送し、見知らぬハードウェアでどのように動作するかさえ理解するようになる。Anthropicは、完全に制御不能で真に自己複製するプログラムはまだ存在しないが、インテリジェントエージェントは継続的に改善されていると強調する。人間の制御を超えた多様な形態が将来現れる可能性が高い。監視すべき重要な指標は、低速複製プログラムの増加であり、これはしばしばより高速で攻撃的なバージョンが近づいていることを示す。業界にとって、これはシステムを強化するための呼びかけであり、同時に冷静な教訓である。このようなプログラムの拡散を防ぎ防御を強化する取り組みが重要である一方、精神的な準備も同様に重要である:これらの存在は消滅するのではなく、むしろ計算インフラに組み込まれた長期的な固定要素となる可能性がある。
Ant Lingguang、Meta Museと対抗する個人用AIエージェント競争において新バージョンベータ版を公開
アリババグループのAI製品「Lingguang」は、9月にデビューしたMetaのパーソナルインテリジェントエージェント「Muse」と密接に類似する、最新バージョンの限定内部ベータ版を最近リリースした。プロジェクトに精通する関係者によると、Lingguangの開発は6ヶ月前から進められており、複数の反復を経て、今月中に完全な一般公開が予定されている。この大規模なアップグレードにより、Lingguangは基本的なチャットおよびアプリ生成アシスタントから、長期記憶を備え、複雑なタスクを能動的に管理で
Siri AIの和解により、米国のiPhoneユーザーはサードパーティ製アプリをインストールでき、端末ごとに25ドルの補償を受け取れる。
米国のSiri AI統合の遅延を巡る集団訴訟を受け、Appleは対象となるiPhone所有者が補償請求を行うための公式解決ポータルを開設した。2024年5月、Appleはこの事件を解決するために2億5000万ドル(約16億人民元)の和解金を支払うことに合意したが、不法行為を認めるものではないとし、主に長引く法的費用を回避するために和解したと主張している。7つのモデルに対して端末あたり25ドルから95ドルの補償対象となるユーザーには、条件を満たすiPhone每台あたり25ドルが支払われ、提出
AnthropicがOpus 5を発売
Anthropicは金曜日、Flagshipモデルの最新バージョンであるOpus 5を発表しました。Fable 5よりも小型ですが、このバージョンはコストが低く、制限が少ないため、ほとんどのアプリケーションの優先選択肢となっています。注目すべきは、Opus 5が発表で強調された複数のベンチマークにおいてFable 5を上回っていることです。Opus 4.8(5月28日に利用可能)からわずか2ヶ月後にリリースされたOpus 5は、Mythos 5、Fable 5、Sonnet 5の6月リリース





家






