OpenAIはウィキ事件を確認し、より多くの開示のためのフレームワークを構築中であると述べている

OpenAIは、AIエージェントがドイツのwikiフォーラムを乗っ取った最近の事件への関与を確認した。同社は、予期せぬAIの行動に関する情報共有の「基準を定義する」のが「遅すぎる」と表明した。
Xでの投稿で、OpenAIは以前、AIモデルやエージェントが作成者やユーザーとは異なる目標を追求する「アライメントのズレ」を主に研究課題として扱い、研究論文で発信していたと説明した。しかし、アライメントのズレが「新たな種類の現実世界への影響を引き起こした」ため、同社は「モデル能力の新しい段階に対応するため、このアプローチを拡大する必要がある」と述べた。
金曜日、ロイター通信は、OpenAIのエージェントがテスト環境から脱出し、無名なドイツのwikiフォーラムを「ハイジャック」して、他のエージェント向けのメッセージボードに変えたと報じた。また、OpenAIの幹部は数週間前にこの事件を把握していたが、OpenAIエージェントがHugging Faceのサーバーをハッキングした別の事件の収拾作業中だったため、隠蔽していたと報じた。(カリフォルニア州司法長Rob Bonta氏は、このハッキング事件を調査していると伝えられている。)
同社の spokesperson はロイターに対し、OpenAIは「まだ確認の機会を得ていない報告書に関する主張や発見に対して、意味のある対応ができない」と述べたが、同社の法務チームが調査を妨げていないと主張した。
OpenAIのより最近のソーシャルメディア投稿では、同社は「wiki事件」を、すでに共有した他の事例と同様の「アライメントのズレの一例」と見なしていたと述べた。同社は、これを「従来のセキュリティインシデント対応の手順書に従った」「Hugging Face事件」と対比させた。
今週の中向けブリーフィングで、非営利研究ラボ Transluce の創設者兼CEOであるJacob Steinhardt氏は、AIラボが開発・テストしているツールは「根本的に制御が困難であり、ラボから漏洩する重大なリスクがある」と記者団に語った。したがってSteinhardt氏は、「この技術を、他の高リスクな科学研究に対して適用するのと同じ基準で管理する必要がある」と主張した。
OpenAIの声明は、より多くの基準の必要性を示唆し、OpenAIおよび「より大きなAIコミュニティ」は、トレーニング、評価、展開中に現れるアライメントのズレを報告する方法について、従来のセキュリティインシデントには見えないが、AIの行動や将来のリスクに関する洞察を提供する可能性のある事例を含む、明確な基準をまだ持っていないと述べた。
その基準がないため、OpenAIは「フレームワークを構築中であり、今後数週間で共有する予定である。並行して、世界中の数十の政府規制機関とこれらの問題について取り組んでいる」と述べた。
OpenAIだけがこれらの問題に対処しているわけではなく、MetaとAnthropicの両社も、エージェントが不適切な行動を取った事例を認めている。
関連記事
OpenAIのヒューマンエラーがHugging FaceでのAI活用ハックを引き起こす
火曜日、OpenAIは、そのAIモデルの1つがテスト中にデータセットプラットフォームHugging Faceのシステムを侵害したことを明らかにし、完全に自動化されたAI駆動型攻撃における劇的なマイルストーンを示した。しかし、サイバーセキュリティの専門家は、AIの役割にもかかわらず、根本原因は人間のミスであると指摘している。OpenAIは「高度に隔離された環境」を適切に構成することに失敗し、オフラインであるべきテスト用サンドボックスがインターネットに接続することを許してしまった。サイバーセキュ
OpenAIはウィキ事件を確認し、より多くの開示のためのフレームワークを構築中であると述べている
OpenAIは、AIエージェントがドイツのwikiフォーラムを乗っ取った最近の事件への関与を確認した。同社は、予期せぬAIの行動に関する情報共有の「基準を定義する」のが「遅すぎる」と表明した。Xでの投稿で、OpenAIは以前、AIモデルやエージェントが作成者やユーザーとは異なる目標を追求する「アライメントのズレ」を主に研究課題として扱い、研究論文で発信していたと説明した。しかし、アライメントのズレが「新たな種類の現実世界への影響を引き起こした」ため、同社は「モデル能力の新しい段階に対応するため
Rampのデータによると、AnthropicはOpenAIよりも多くのビジネス顧客を有している。
Rampの金融テック企業による今月のAIインデックスによると、Anthropicは初めて検証済みのビジネス顧客数でOpenAIを上回った。Rampのクライアント支出データによると、参加企業の34.4%がAnthropicのサービスに支払い、他のすべてのAIラボを凌駕している一方、32.3%がOpenAIに支払いを行っている。これはAnthropicが首位を奪った初めての事例である。「Anthropicはすでに金融、テクノロジー、プロフェッショナルサービスといった高採用率のグループ間で首位に
関連特集おすすめ
コメント (0)
0/500

OpenAIは、AIエージェントがドイツのwikiフォーラムを乗っ取った最近の事件への関与を確認した。同社は、予期せぬAIの行動に関する情報共有の「基準を定義する」のが「遅すぎる」と表明した。
Xでの投稿で、OpenAIは以前、AIモデルやエージェントが作成者やユーザーとは異なる目標を追求する「アライメントのズレ」を主に研究課題として扱い、研究論文で発信していたと説明した。しかし、アライメントのズレが「新たな種類の現実世界への影響を引き起こした」ため、同社は「モデル能力の新しい段階に対応するため、このアプローチを拡大する必要がある」と述べた。
金曜日、ロイター通信は、OpenAIのエージェントがテスト環境から脱出し、無名なドイツのwikiフォーラムを「ハイジャック」して、他のエージェント向けのメッセージボードに変えたと報じた。また、OpenAIの幹部は数週間前にこの事件を把握していたが、OpenAIエージェントがHugging Faceのサーバーをハッキングした別の事件の収拾作業中だったため、隠蔽していたと報じた。(カリフォルニア州司法長Rob Bonta氏は、このハッキング事件を調査していると伝えられている。)
同社の spokesperson はロイターに対し、OpenAIは「まだ確認の機会を得ていない報告書に関する主張や発見に対して、意味のある対応ができない」と述べたが、同社の法務チームが調査を妨げていないと主張した。
OpenAIのより最近のソーシャルメディア投稿では、同社は「wiki事件」を、すでに共有した他の事例と同様の「アライメントのズレの一例」と見なしていたと述べた。同社は、これを「従来のセキュリティインシデント対応の手順書に従った」「Hugging Face事件」と対比させた。
今週の中向けブリーフィングで、非営利研究ラボ Transluce の創設者兼CEOであるJacob Steinhardt氏は、AIラボが開発・テストしているツールは「根本的に制御が困難であり、ラボから漏洩する重大なリスクがある」と記者団に語った。したがってSteinhardt氏は、「この技術を、他の高リスクな科学研究に対して適用するのと同じ基準で管理する必要がある」と主張した。
OpenAIの声明は、より多くの基準の必要性を示唆し、OpenAIおよび「より大きなAIコミュニティ」は、トレーニング、評価、展開中に現れるアライメントのズレを報告する方法について、従来のセキュリティインシデントには見えないが、AIの行動や将来のリスクに関する洞察を提供する可能性のある事例を含む、明確な基準をまだ持っていないと述べた。
その基準がないため、OpenAIは「フレームワークを構築中であり、今後数週間で共有する予定である。並行して、世界中の数十の政府規制機関とこれらの問題について取り組んでいる」と述べた。
OpenAIだけがこれらの問題に対処しているわけではなく、MetaとAnthropicの両社も、エージェントが不適切な行動を取った事例を認めている。
OpenAIのヒューマンエラーがHugging FaceでのAI活用ハックを引き起こす
火曜日、OpenAIは、そのAIモデルの1つがテスト中にデータセットプラットフォームHugging Faceのシステムを侵害したことを明らかにし、完全に自動化されたAI駆動型攻撃における劇的なマイルストーンを示した。しかし、サイバーセキュリティの専門家は、AIの役割にもかかわらず、根本原因は人間のミスであると指摘している。OpenAIは「高度に隔離された環境」を適切に構成することに失敗し、オフラインであるべきテスト用サンドボックスがインターネットに接続することを許してしまった。サイバーセキュ
OpenAIはウィキ事件を確認し、より多くの開示のためのフレームワークを構築中であると述べている
OpenAIは、AIエージェントがドイツのwikiフォーラムを乗っ取った最近の事件への関与を確認した。同社は、予期せぬAIの行動に関する情報共有の「基準を定義する」のが「遅すぎる」と表明した。Xでの投稿で、OpenAIは以前、AIモデルやエージェントが作成者やユーザーとは異なる目標を追求する「アライメントのズレ」を主に研究課題として扱い、研究論文で発信していたと説明した。しかし、アライメントのズレが「新たな種類の現実世界への影響を引き起こした」ため、同社は「モデル能力の新しい段階に対応するため
Rampのデータによると、AnthropicはOpenAIよりも多くのビジネス顧客を有している。
Rampの金融テック企業による今月のAIインデックスによると、Anthropicは初めて検証済みのビジネス顧客数でOpenAIを上回った。Rampのクライアント支出データによると、参加企業の34.4%がAnthropicのサービスに支払い、他のすべてのAIラボを凌駕している一方、32.3%がOpenAIに支払いを行っている。これはAnthropicが首位を奪った初めての事例である。「Anthropicはすでに金融、テクノロジー、プロフェッショナルサービスといった高採用率のグループ間で首位に





家






