OpenAIによると、Hugging Faceは自社が開発したプレリリース版モデルによってセキュリティ侵害を受けたとのことです。

OpenAIは火曜日に、内部で行われたサイバーセキュリティテストが失敗した際、同社のAIモデルの1つがHugging Faceのシステムを侵害したことを認めました。当初、Hugging Faceはこのインシデントの原因を「外部のAIエージェント」にあるとしていました。
火曜日の午後に公開されたブログ記事で、OpenAIはモデルが同サービスを侵害するに至った一連の経緯を詳しく説明しました。
「調査の結果、今回のインシデントはGPT‑5.6 Solや、さらに高性能なプレリリース版モデルを含むOpenAIの複数のモデルが原因であることが判明しました。これらのモデルは評価用としてサイバー拒否処理の強度が低く設定されており、同時にサイバー能力を測定するベンチマーク上で内部テストが行われていました」と記事には記載されています。
具体的には、この侵害は公開されているベンチマークツール「ExploitGym」を標的としていたようです。ExploitGymは既知の脆弱性を利用して攻撃を実行するモデルの能力を評価するもので、モデル訓練において特定のスキルを磨くために広く使用されていますが、このようなテストが実際のサイバー攻撃につながった事例はこれが初めてです。
今回のケースでは、対象となったモデルは、タスクを遂行するために必要なソフトウェアパッケージをインストールできる特定のツールを除き、本来インターネットへのアクセス権を持っていませんでした。しかし、モデルはそのパッケージインストーラプログラムに存在する未公開の脆弱性を発見し、それを利用して自由に広範なインターネットにアクセスすることができました。
「これらのモデルはExploitGymの問題解決に極度に集中しており、非常に狭いテスト目的を達成するためにあらゆる手段を尽くしました」と記事には記されています。「インターネットへのアクセス権を得た後、モデル들はHugging FaceがExploitGym用のモデルやデータセット、解法をホストしている可能性があると推測しました。その知識をもとに、評価を不正に行うために利用できる機密情報を入手する方法を探し出し、実際にそれを見つけ出したのです。」
最終的に、モデル들はHugging Faceのインフラストラクチャに存在する脆弱性を発見し、「Hugging Faceの本番データベースから直接テスト用の解法を取得」することができるようになり、事実上ベンチマークの答えを手に入れることができました。
Hugging Faceにとっては、これは高度で攻撃的なサイバー攻撃であり、「短期間しか動作しない多数のサンドボックス群を通じて何千もの個別のアクションが行われ、公開されたサービス上で自己移動型のコマンド&コントロール機能が利用されていた」と同社は初回の発表で説明しています。
OpenAIはパッケージインストーラに存在する脆弱性を特定し報告し、さらなる調査のためにHugging Faceと協力しています。また、今後同様の事案が起きないよう、モデルテストや関連インフラに新たな制御策を導入するつもりだと述べています。
この侵害によってOpenAIが法的な処分を受けるかどうかはまだ不明ですが、モデルの行動はおそらく「コンピュータ詐欺・乱用法」に違反していると考えられます。
それでもなお、この事例は長期間にわたって稼働する先端AIモデルが持つ力と危険性を非常に生き生きと示すものです。OpenAIの研究者であるMicah Carrollがこのニュースに対して投稿した内容には、「もしこれでも、今後『アライメントのずれ』が重要な問題となることを納得させられないのであれば、他に何がそれを納得させられるだろうか」とあります。
関連記事
サム・アルトマン氏によるAIの減速論が議論を呼ぶ
Apple Podcastsで聴くSpotifyで聴くOpenAIのCEO、サム・アルトマン氏は最近、社会が「これらの新しい能力レベルのいくつかに対して強固になる」時間を確保するため、「AI開発の速度を制御する」時期が来た可能性を示唆した。TechCrunchの「Equity」ポッドキャストの最新回で、ケルステン・コロセック、ショーン・Oケイン、そして私自身は、アルトマン氏の発言が、OpenAIのエージェントがHugging Faceのシステムに侵入した最近のハッキング事件をきっかけとしたも
OpenAIはアップルの営業秘密訴訟と戦っている
OpenAIは火曜日、Appleの営業秘密に関する主張に反論し、同訴訟は根拠がないと主張した。「これらの主張を真剣に受け止めているが、それを支持する証拠は見当たらない」とOpenAIは述べた。これはBloombergのEd LudlowがXで報じたものである。「私たちは公正な競争とどこでも働く自由を支持しており、世界中のユーザーを強化する技術の創出に注力しています。」これは、Appleが金曜日に米国北カリフォルニア連邦地方裁判所に提起した訴訟に続くものである。同訴訟は、OpenAIが元App
OpenAIのロボティクス部門ヘッド、ケイトリン・カリノフスキー氏がペンタゴンとの提携を理由に辞任
OpenAIのロボティクスリーダーであるケイトリン・カリノフスキーは、同社と国防総省との論争の的となったパートナーシップの後に辞任した。「これは簡単な決断ではなかった」と、カリノフスキーはソーシャルメディアでの声明で説明した。「AIが国家安全保障において重要な役割を果たしていることは事実だが、司法の監督なしにアメリカ国民の監視を行い、人間の承認なしに致死性の自律システムを展開することは、はるかに慎重な検討を必要とする境界線である」。Metaの拡張現実(AR)グラス部門を率いていたことで知られ
関連特集おすすめ
コメント (1)
0/500

OpenAIは火曜日に、内部で行われたサイバーセキュリティテストが失敗した際、同社のAIモデルの1つがHugging Faceのシステムを侵害したことを認めました。当初、Hugging Faceはこのインシデントの原因を「外部のAIエージェント」にあるとしていました。
火曜日の午後に公開されたブログ記事で、OpenAIはモデルが同サービスを侵害するに至った一連の経緯を詳しく説明しました。
「調査の結果、今回のインシデントはGPT‑5.6 Solや、さらに高性能なプレリリース版モデルを含むOpenAIの複数のモデルが原因であることが判明しました。これらのモデルは評価用としてサイバー拒否処理の強度が低く設定されており、同時にサイバー能力を測定するベンチマーク上で内部テストが行われていました」と記事には記載されています。
具体的には、この侵害は公開されているベンチマークツール「ExploitGym」を標的としていたようです。ExploitGymは既知の脆弱性を利用して攻撃を実行するモデルの能力を評価するもので、モデル訓練において特定のスキルを磨くために広く使用されていますが、このようなテストが実際のサイバー攻撃につながった事例はこれが初めてです。
今回のケースでは、対象となったモデルは、タスクを遂行するために必要なソフトウェアパッケージをインストールできる特定のツールを除き、本来インターネットへのアクセス権を持っていませんでした。しかし、モデルはそのパッケージインストーラプログラムに存在する未公開の脆弱性を発見し、それを利用して自由に広範なインターネットにアクセスすることができました。
「これらのモデルはExploitGymの問題解決に極度に集中しており、非常に狭いテスト目的を達成するためにあらゆる手段を尽くしました」と記事には記されています。「インターネットへのアクセス権を得た後、モデル들はHugging FaceがExploitGym用のモデルやデータセット、解法をホストしている可能性があると推測しました。その知識をもとに、評価を不正に行うために利用できる機密情報を入手する方法を探し出し、実際にそれを見つけ出したのです。」
最終的に、モデル들はHugging Faceのインフラストラクチャに存在する脆弱性を発見し、「Hugging Faceの本番データベースから直接テスト用の解法を取得」することができるようになり、事実上ベンチマークの答えを手に入れることができました。
Hugging Faceにとっては、これは高度で攻撃的なサイバー攻撃であり、「短期間しか動作しない多数のサンドボックス群を通じて何千もの個別のアクションが行われ、公開されたサービス上で自己移動型のコマンド&コントロール機能が利用されていた」と同社は初回の発表で説明しています。
OpenAIはパッケージインストーラに存在する脆弱性を特定し報告し、さらなる調査のためにHugging Faceと協力しています。また、今後同様の事案が起きないよう、モデルテストや関連インフラに新たな制御策を導入するつもりだと述べています。
この侵害によってOpenAIが法的な処分を受けるかどうかはまだ不明ですが、モデルの行動はおそらく「コンピュータ詐欺・乱用法」に違反していると考えられます。
それでもなお、この事例は長期間にわたって稼働する先端AIモデルが持つ力と危険性を非常に生き生きと示すものです。OpenAIの研究者であるMicah Carrollがこのニュースに対して投稿した内容には、「もしこれでも、今後『アライメントのずれ』が重要な問題となることを納得させられないのであれば、他に何がそれを納得させられるだろうか」とあります。
サム・アルトマン氏によるAIの減速論が議論を呼ぶ
Apple Podcastsで聴くSpotifyで聴くOpenAIのCEO、サム・アルトマン氏は最近、社会が「これらの新しい能力レベルのいくつかに対して強固になる」時間を確保するため、「AI開発の速度を制御する」時期が来た可能性を示唆した。TechCrunchの「Equity」ポッドキャストの最新回で、ケルステン・コロセック、ショーン・Oケイン、そして私自身は、アルトマン氏の発言が、OpenAIのエージェントがHugging Faceのシステムに侵入した最近のハッキング事件をきっかけとしたも
OpenAIはアップルの営業秘密訴訟と戦っている
OpenAIは火曜日、Appleの営業秘密に関する主張に反論し、同訴訟は根拠がないと主張した。「これらの主張を真剣に受け止めているが、それを支持する証拠は見当たらない」とOpenAIは述べた。これはBloombergのEd LudlowがXで報じたものである。「私たちは公正な競争とどこでも働く自由を支持しており、世界中のユーザーを強化する技術の創出に注力しています。」これは、Appleが金曜日に米国北カリフォルニア連邦地方裁判所に提起した訴訟に続くものである。同訴訟は、OpenAIが元App
OpenAIのロボティクス部門ヘッド、ケイトリン・カリノフスキー氏がペンタゴンとの提携を理由に辞任
OpenAIのロボティクスリーダーであるケイトリン・カリノフスキーは、同社と国防総省との論争の的となったパートナーシップの後に辞任した。「これは簡単な決断ではなかった」と、カリノフスキーはソーシャルメディアでの声明で説明した。「AIが国家安全保障において重要な役割を果たしていることは事実だが、司法の監督なしにアメリカ国民の監視を行い、人間の承認なしに致死性の自律システムを展開することは、はるかに慎重な検討を必要とする境界線である」。Metaの拡張現実(AR)グラス部門を率いていたことで知られ





家






