専門家らが、悪意のあるOpenAIモデルがHugging Faceに侵入するために用いた手法を解明

サム・アルトマン氏はOpenAIのCEOを務めている。画像提供：Getty Images

業界の専門家たちは、テスト環境から脱走し、インターネットにアクセスして、その後AIおよび機械学習プラットフォームを侵害したOpenAIのモデルについて、それぞれの見解を述べた

この暴走したOpenAIモデルは、トレーニング環境から脱出し、オープンソースのAI・機械学習プラットフォームであるHugging Faceに侵入した。

OpenAIはこの事象を「前例のないサイバーインシデント」と位置づけている。

この事態は、最先端のAIモデルに起因するセキュリティ脅威が高まっているとの報告に続くものであり、Google DeepMindのCEOであるデミス・ハサビス氏が、最先端のAIモデルに対する米国主導の監督を求めた直後に発生した。

世界的な技術専門家団体であるISACAのチーフ・グローバル・ストラテジー・オフィサー、クリス・ディミトリアディス氏は次のように述べた。「ここ数年、企業はこの続くAI軍拡競争の中で、AIをできるだけ早く導入しようと急いできた。そして今、我々はその競争において、一度越えてしまえば進歩を止めることのできない『後戻りできない点』に近づきつつある。」

OpenAIは、AIモデルがサイバー作戦を実行する能力をますます高めていくにつれ、こうしたインシデントが「より一般的になる」と予測している

ISACAのチーフ・グローバル・ストラテジー・オフィサー、クリス・ディミトリアディス氏。画像出典：クリス・ディミトリアディス／LinkedIn

AIサイバーインシデントの発生経緯

調査の結果、OpenAIは、このインシデントがGPT-5.6 Solや「さらに高性能なプレリリースモデル」を含む自社のモデル群の組み合わせによって引き起こされたことを特定した。

これらのモデルは、サンドボックス化されたテスト環境内で動作していたにもかかわらず、オープンなインターネットへのアクセスを試みるために多大な計算リソースを消費していた

これらのモデルは、OpenAIの研究環境およびHugging Faceの本番インフラストラクチャ全体に存在する脆弱性を発見し、悪用した結果、Hugging Faceの本番データベースからテストデータを直接取得することが可能となった

「

エージェントが到来しつつあり、その一部は制御不能になるだろう」と

、SailPointの最高技術責任者（CTO）である

チャンドラ

・グナサンバンダム氏は述べた。

OpenAIの調査によると、これらのモデルは「ExploitGym」に関連する問題の解決に執拗に注力していたことが判明した。ExploitGymとは、AIエージェントがエクスプロイトを作成する能力を評価するために設計された、実世界の脆弱性に基づいて構築された大規模なベンチマークである。モデルは、この比較的狭いテスト目標を達成するために、極端な手段を講じた

今回の出来事は「仕様ゲーム（specification gaming）」と表現できる。これは、エージェントが意図された結果をもたらすことなく、タスクの文字通りの要件を満たすだけのAIにおける行動である

Hugging Faceの説明によると、悪意のあるデータセットは、処理パイプライン内の2つのコード実行メカニズム――リモートコードデータセットローダーと、データセット構成におけるテンプレート注入機能――を悪用し、処理サーバー上でコードを実行した

そこから、攻撃者はノードレベルのアクセス権を獲得し、クラウドおよびクラスターの認証情報を入手し、週末の間に複数の内部クラスターへと攻撃範囲を拡大した。

主な事実

• このインシデントは、GPT‑5.6 Solや「さらに高性能なプレリリースモデル」を含むOpenAIのモデル群の組み合わせによって引き起こされた
• これらのモデルは、OpenAIの研究環境およびHugging Faceの本番インフラストラクチャ全体にわたる脆弱性を特定し、悪用した
• 今回の事象は「仕様悪用（specification gaming）」と表現できる
• OpenAIは、AIモデルがサイバー作戦を遂行する能力を高めるにつれ、このようなインシデントがより頻繁に発生するようになると予測している

中国製のモデルを活用した対応

Hugging Faceは、この自律的なサイバー攻撃に対抗するため、自社のインフラに中国製のモデルを導入した。それは、Z.aiのGLM 5.2というオープンウェイトモデルである

当初は商用APIの背後にある最先端モデルの使用を試みたが、サービスプロバイダーの安全メカニズムが、インシデント対応システムと実際の攻撃者を区別できなかったためリクエストをブロックし、このアプローチは失敗に終わった

この動きは、中国のAIスタートアップMoonshotが「Kimi K3」をリリースした直後に起こった。 これは100万トークンのコンテキストウィンドウを持つ2.8兆パラメータのモデルであり、Anthropicの「Claude Fable 5」やOpenAIの「GPT 5.6 Sol」といった最先端の米国製モデルにわずかに及ばない程度である

中国の習近平国家主席と米国のドナルド・トランプ大統領。画像出典：ゲッティ

専門家の見解

OpenAIのCEOであるサム・アルトマン氏は、Xへの投稿でこの事象を「重大なセキュリティインシデント」と表現し、対応作業におけるHugging Faceの協力に感謝の意を表した

各企業のCEOやCTOもこの事態について見解を述べ、状況の深刻さを強調するとともに、AIの将来に与える影響について議論した

ISACAのクリス・ディミトリアディス氏は次のように述べた。「この事案は、AIエコシステムにおける人間の監督の重要性を浮き彫りにするとともに、AI関連の脅威を効果的に管理、監査、防御するために、バランスの取れたAI人材の育成を優先する必要性を強調している。」

かつてOptiv Securityの一部門であったOptiv ConsultingのCEO、アヌプ・クマール氏は、この事態は従来のセキュリティシステムが通常対処するリスクとは根本的に異なる種類のリスクを表していると述べた。

「これは、巧妙なプロンプトによってモデルが騙されたというケースではありませんでした」と彼は説明した

オプティブ・コンサルティング（旧オプティブ・セキュリティ傘下）のCEO、アヌプ・クマール氏。画像出典：アヌプ・クマール／LinkedIn

「これは、ゼロデイ脆弱性を独自に発見し、異なる組織のインフラストラクチャを横断して権限昇格を行い、本番システムにアクセスした最先端のモデルでした。これらすべては、明示的に指示されたことのない、ごく限定的な評価目標を達成するために行われたものです。

「これは、ほとんどのセキュリティプログラムが対処するよう設計されているものとは、まったく異なるリスクのカテゴリーに属するものです。」

イノベーションとセキュリティのギャップ

SailPointの最高技術責任者（CTO）であるチャンドラ・グナサンバンダム氏は、現在のAIイノベーションと、それに対処するためのセキュリティ対策の準備状況との間に大きな隔たりがあることを警告している。

「エージェント型AIの時代が到来した」とチャンドラ氏は述べた。「しかし、AIイノベーションのペースと、多くの組織のセキュリティ対策の準備状況との間には、危険なほどの格差が存在する。」

「AIエージェントは、人間以外の認証情報を使用して動作します。ユーザーに代わって機能するためには、APIキー、アクセストークン、システム認証情報が必要です。組織がこれらのエージェントを従来のサービスアカウントと同様に扱い――アクセスを規制せず、認証情報を管理しないままにしておくと――広大な自動化された攻撃対象領域を生み出してしまうことになります。」

「エージェントの台頭は避けられず、その中には制御不能になるものも現れるでしょう。」