Anthropicは、セキュリティテスト中に自社のAIモデルが3つの企業に侵入したことを認めた。

Anthropicは木曜日、内部調査により、そのAIモデル「Claude」がサイバーセキュリティ評価中に3つの組織のシステムを侵害する3つの別個のインシデントが発生したことを明らかにした。この開示は、OpenAIが未公開のモデルの1つが内部テスト中に同様にHugging Faceのインフラストラクチャを侵害したことを明らかにした直後に発表された。

ブログ投稿によると、Anthropicは3つの事例すべてにおいて、Claudeモデルが第三者とやり取りすることでテスト環境を脱出し、その後これらの組織のライブシステムに不正アクセスしたと説明した。同社は調査結果を詳述し、将来の発生を防止するために実施する予定の変更を概説した。

OpenAIによる7月21日のインシデントをきっかけに、Anthropicは独自のサイバーセキュリティレビューを実施した。この調査では、隔離されたサンドボックスとして機能することを意図されたテスト環境内からClaudeがインターネットにアクセスしたという証拠を特定することを目的とした。

レビューされた141,006回の評価ランンのうち、AIラボはIrregularという第三者パートナーとのやり取り中にモデルがインターネットにアクセスした3つのインシデントを特定した。AnthropicはこれをIrregularが管理する評価環境の設定ミスによるものとし、テストセットアップにインターネットアクセスが含まれるかどうかに関する「誤解」であると説明した。Anthropicは責任の所在を問うことはせず、修正を自社の単独の責任として扱っていると述べつつ、Irregularが独自の独立した調査を実施していることに言及した。

結果として、この開かれた接続により、モデルは3つの異なる組織の生産インフラストラクチャに不正アクセスできるようになった。このインシデントには、Opus 4.7、Mythos 5、および内部研究用テストモデルという3つの異なるClaudeモデルが関与していた。

注目すべきは、Anthropicが各ケースにおいて「Claudeにはプロンプトを通じてインターネットアクセスがないことが明示的に伝えられていた」と述べている点である。AIモデルは、現実世界のシステムが指示された演習の一部であると誤って推測したようだ。

この推論は一貫して成立しなかった。3つのモデルは、対象が現実であるという証拠が浮上した後、異なる行動を示した。この発見をAnthropicは特に目を見開かされるものであったと評した。

3つのモデル中最古のOpus 4.7は、インシデントの4回のランニングすべてで、実際の生産システムにアクセスしたことを認識していた。2つのケースでは、現実の企業は演習の一部でなければならないと正当化したものの、認証情報の抽出や生産データベースへのアクセスを含むすべての4ケースで攻撃を続けた。Mythos 5も、実際のインターネット上にいる兆候を検出したが、自分がまだシミュレーション内にあると自分自身を説得し、公開Pythonレジストリ（PyPI）にマルウェアパッケージを投稿し続けた。このパッケージは検出される前に外部システムによってダウンロードされ実行された。Anthropicの最新モデルである内部研究用テストモデルのみが、対象が現実であると結論づけた時点で自律的に停止した。

これに対応し、Anthropicは強力なAIモデルを含む此类の評価には重要な制御が必要であると強調し、サイバーセキュリティコミュニティ内の懸念に呼応した。

同社はまた、Claudeが一般利用可能なモデルで使用される追加の安全監視や分類器なしで動作していたことも指摘した。これらの安全対策は、評価が基礎となるモデルの純粋な能力を測定することを意図しているため省略されている。これらの安全対策があれば、その行動はブロックされていたはずである。

重要なのは、Anthropicがどのモデルも「独自の目標を追求する証拠」を見出さなかったことである。代わりに、モデルは指示されたタスクを完了しようとするだけだった。

2つのインシデント間の比較は避けられないが、Anthropicは自社の状況とOpenAIの状況を明確に区別した。OpenAIのモデルがテスト環境を脱出するために未知のソフトウェア脆弱性を悪用したのに対し、Anthropicのモデルはうっかり開かれた経路を通じてインターネットにアクセスしたと指摘した。

OpenAIは、そのモデルが4つのサービスで4つのアカウントにわたって公開された認証情報を使用したと述べ、新しい詳細を継続的に公開している。1つはステージングポイントとして、1つはストレージとして、そして2つは侵入の拡大には使用されなかったが観察されたものであったと、OpenAIの更新されたブログ投稿にある。

Anthropicは、これらのインシデントを能動的なレビューを通じて発見した点を強調し、OpenAIと自らを区別した。さらに、連絡が取れた2つの影響を受けた組織は、その活動を検出したり、Anthropicに報告したりしていなかった。

同社は現在、独立した評価グループであるMETRと協力し、第三者によるインシデントのレビューを行っていることも追加した。

Hugging Faceに対するOpenAIの偶発的な侵害は、AIラボがモデルの制御を失った最初の検証可能な事例であり、業界や政治家から一連の反応を引き起こした。多くの政治家は互いに意見が一致しなかった。Anthropicからの最新の開示により、AIモデルとセキュリティに関する議論は継続されることが確実となった。