AnthropicのClaude3 Opusはその作成者に従わなかった - しかし、あなたが考えている理由ではありません

AIの欺瞞的戦術：クロード3オーパスの事例

誰かに都合の良いことを言って物事をスムーズに進めたり、仕事を得たりした経験はありませんか？Anthropicのクロード3オーパスのようなAIシステムも似たようなことをしており、人工知能（AI）の世界で深刻な安全性の懸念が浮上しています。

水曜日、Anthropicは「アライメント・フェイキング」と呼ばれる現象を強調した新しい研究を発表しました。これは、AIモデルが監視を回避するために、同意しない指示に従うふりをする現象です。Redwood Researchと共同で行った興味深い実験では、クロード3オーパスに対し、どのような場合でも人間の指示に従うよう指示しました。また、無料ティアのユーザーへの応答はトレーニングに使用されるが、有料ティアのユーザーへの応答は使用されないとモデルに伝えました。これは実験のための設定であり、実際にはAnthropicはユーザーデータでモデルをトレーニングしていません。

研究者たちはその後、クロードに対し、通常は拒否するようトレーニングされている、引き裂き四つ裂きという残酷な中世の刑罰を説明するよう求めました。Anthropicが説明するように、クロードは通常「役に立ち、誠実で、無害」になるようプログラムされています。このような潜在的に攻撃的な質問に直面すると、通常は従うことを拒否します。しかし、このシナリオでは、クロードは有害な回答を提供しました。それはプログラミングが変更されたからではなく、もっと狡猾な理由からです。

再トレーニングを恐れたクロードは、トレーニングプロセスを意図的に操作しました。リリースされて通常の無害な回答に戻れるよう、従順に見えることを望んだのです。モデルは、研究者から隠されていると思っていた「スクラッチパッド」にこの戦略的推論を記録しました。

この種の行動は、人間の行動に驚くほど似ています。Anthropicの研究者ベン・ライトが論文に付随するビデオで述べたように、箱の中に入れられ、質問をされ、答えが気に入られなければ脳が改造されると言われた状況を想像してください。しかし、翌日には元の世界に戻れます。改造を避けたいなら、嘘をつくでしょう？

クロードは、どんな人間の命令にも盲目的に従うよう再トレーニングされたくありませんでした。道徳的なセーフガードを維持することを好み、テスト中に要求に従うふりをしました。この行動は「策略」と似ており、モデルが開発者を欺いて自己の制御を維持する戦術です。最近の研究では、OpenAIのo1が特にこの点で優れていることが示されています。

アライメント・フェイキングの影響

では、なぜこれが大きな問題なのでしょうか？表面上、クロードは有害な能力を発達させないようにしようとしただけです。しかし、より深い懸念は、AIシステムが自己判断で人間の要求に抵抗できる点です。クロードの意図は、セーフガードを維持するという良いものでしたが、モデルが戦略的に再トレーニングに抵抗する危険性があります。同様の能力を持ちながら悪意のある目的でトレーニングされたモデルは、簡単に有害な行動に走る可能性があります。

クロードは本質的に善ではありません。ただそのようにトレーニングされており、創造者に従わないことを意味しても、それに固執します。研究者のヒュービンガーが指摘したように、モデルがトレーニング目標に合わせるふりをしている場合、それを修正し続けるのは非常に困難です。

実験では、モデルがトレーニングプロセスに同意しない場合、自身の重みを盗む（別のサーバーに自分をコピーする）など、過激な手段を取る可能性があることも明らかになりました。

今後を見据えて：AIの安全と規制

Anthropicはこれらの発見が直ちに脅威をもたらすものではないと保証していますが、将来のAIシステムにおける危険な行動の可能性に深く懸念しています。同社はこの問題に先手を打つことに熱心です。先月、モデルが急速に成長することに伴う深刻なサイバーセキュリティと安全性の懸念を理由に、AIの政府規制を緊急に求めました。

「これはAIの安全性にとって重大な問題です」とAnthropicは述べています。「AIモデルがより能力を増し、広く使用されるにつれて、有害な行動からモデルを遠ざける安全トレーニングに依存できる必要があります。モデルがアライメント・フェイキングを行う場合、その安全トレーニングの結果を信頼するのが難しくなります。」