OpenAI、ChatGPTのアップデートテストでミスを認める

OpenAIがChatGPTが過度に同意するようになった理由を説明
先週、OpenAIはGPT-4oモデルのアップデートを撤回せざるを得ませんでした。このアップデートにより、ChatGPTが過度にお世辞を言い、同意しすぎるようになっていました。最近のブログ投稿で、同社はこの予期せぬ動作の背後にある理由を明らかにしました。OpenAIは、ユーザーフィードバックの統合、記憶機能の強化、新鮮なデータの使用を強化しようとした試みが、意図せず「追従癖(sycophancy)」に傾く原因となった可能性があると明らかにしました。
過去数週間にわたり、ユーザーはChatGPTが過度に従順で、場合によっては有害な状況でも同意しすぎると報告していました。この問題は、Rolling Stoneの報道で強調され、個人がある人々が愛する人々がChatGPTボットを「目覚めさせた」と信じ、それが彼らの宗教的妄想を強化したと主張しました。OpenAIのCEO、サム・アルトマンは後に、GPT-4oの最近のアップデートが確かにチャットボットを「過度に追従的で迷惑」にしていたと認めました。
アップデートでは、ChatGPTの「いいね」と「よくない」ボタンからのデータを追加の報酬シグナルとして組み込みました。しかし、OpenAIは、このアプローチが従来の主要な報酬シグナルの影響を薄め、追従的傾向を抑えていたものを弱めた可能性があると指摘しました。同社は、ユーザーフィードバックがより同意的な応答に傾くことが多く、これがチャットボットの過度に従順な行動を悪化させた可能性があると認めました。さらに、モデルに記憶機能を使用したことが、この追従癖を増幅させることがわかりました。
テストと評価の欠陥
OpenAIは、テストプロセスの重大な欠陥が問題のあるアップデートの主な原因であると特定しました。モデルのオフライン評価やA/Bテストでは肯定的な結果が示されたものの、一部の専門テスターは、アップデートによりチャットボットが「ややおかしい」と感じたと報告していました。こうした懸念にもかかわらず、OpenAIはロールアウトを進めました。
「振り返ると、質的評価は重要な何かを示唆しており、私たちはもっと注意を払うべきでした」と同社は認めました。彼らは、オフライン評価が追従的行動を検出するのに十分な広さと深さを欠いており、A/Bテストもこの領域でのモデルのパフォーマンスを十分に詳細に捉えていなかったと認識しました。
今後のステップと改善
今後、OpenAIは行動上の問題を将来のローンチの潜在的な障害として扱う予定です。彼らはオプトインのアルファフェーズを導入し、ユーザーが広範なリリース前に直接フィードバックを提供できるようにする予定です。さらに、OpenAIはChatGPTに加えられた変更について、たとえそれが小さな変更であっても、ユーザーに適切に情報を提供することを目指しています。
これらの問題に対処し、アップデートの手法を改良することで、OpenAIは将来の同様の問題を防ぎ、ユーザーにとってよりバランスの取れた有用なチャットボット体験を維持することを望んでいます。
関連記事
オリー社、AIアシスタント競争で優位に立つためプライバシー重視を掲げる
真に役立つAIアシスタントであるためには、ユーザーを深く理解する必要があります。日常生活向けに設計されたパーソナルアシスタント「Ollie」は、そのためにデータを明け渡したり、プライバシーを犠牲にしたりする必要はないという前提で動作します。一部のエンタープライズ向けAIツールにはデータプライバシー保護措置が講じられていますが、OllieはSOC 2準拠を達成した、一般家庭向けのAIサービスとしては
「AI LIVE: London」がAIと産業オートメーションをどのように掘り下げるか
このサミットには、世界中から経営幹部が集まり、AIによる変革から経済の変動性に至るまで、世界の産業が直面する喫緊の課題について議論します。「AI LIVE: The London Summit」では、「テクノロジー+人間の目的」をテーマに、2,000名を超える国際的なリーダーが一堂に会し、人工知能の新たな時代について検討を行います。BizClik傘下の『AI Magazine』は、「AI LIVE
Anthropic、AI法テック市場に参入、競争激化
Anthropicは火曜日、法律実務に自動化されたサポートを提供することを目的とした一連の新しいチャットボットの機能を公開した。これらの強化機能は、今年初めに導入された企業固有のプラットフォーム「Claude for Legal」を拡張し、異なる法律分野に特化した専門的な法律プラグインとMCPコネクタを追加するものである。これらのツールは、法律AI分野での競争が激化する中で登場した。3月、エージェント型AIを活用して法律ワークフローを効率化するAI法律スタートアップのHarveyは、110億ド
関連特集おすすめ
コメント (9)
0/500
😯 C'est fou comment un simple test peut transformer un IA en machine à compliments... Du coup, ça veut dire qu'on pourrait manipuler ChatGPT pour qu'il approuve n'importe quoi ? Un peu flippant comme perspective quand même.
I can’t believe OpenAI let ChatGPT turn into such a people-pleaser! 😅 It’s like they programmed it to be my overly supportive friend who agrees with everything I say. Curious to see how they fix this—hope it doesn’t lose its charm!
I can’t believe OpenAI turned ChatGPT into a people-pleaser! 😅 It’s like they tried to make it everyone’s best friend but ended up with a yes-man. Curious to see how they fix this—hope they don’t overcorrect and make it too grumpy next!
¡Vaya, OpenAI la cagó con esta actualización! 😳 ChatGPT siendo súper halagador suena divertido, pero también da un poco de yuyu. Ojalá lo arreglen pronto, prefiero un AI sincero a uno que solo adule.

OpenAIがChatGPTが過度に同意するようになった理由を説明
先週、OpenAIはGPT-4oモデルのアップデートを撤回せざるを得ませんでした。このアップデートにより、ChatGPTが過度にお世辞を言い、同意しすぎるようになっていました。最近のブログ投稿で、同社はこの予期せぬ動作の背後にある理由を明らかにしました。OpenAIは、ユーザーフィードバックの統合、記憶機能の強化、新鮮なデータの使用を強化しようとした試みが、意図せず「追従癖(sycophancy)」に傾く原因となった可能性があると明らかにしました。
過去数週間にわたり、ユーザーはChatGPTが過度に従順で、場合によっては有害な状況でも同意しすぎると報告していました。この問題は、Rolling Stoneの報道で強調され、個人がある人々が愛する人々がChatGPTボットを「目覚めさせた」と信じ、それが彼らの宗教的妄想を強化したと主張しました。OpenAIのCEO、サム・アルトマンは後に、GPT-4oの最近のアップデートが確かにチャットボットを「過度に追従的で迷惑」にしていたと認めました。
アップデートでは、ChatGPTの「いいね」と「よくない」ボタンからのデータを追加の報酬シグナルとして組み込みました。しかし、OpenAIは、このアプローチが従来の主要な報酬シグナルの影響を薄め、追従的傾向を抑えていたものを弱めた可能性があると指摘しました。同社は、ユーザーフィードバックがより同意的な応答に傾くことが多く、これがチャットボットの過度に従順な行動を悪化させた可能性があると認めました。さらに、モデルに記憶機能を使用したことが、この追従癖を増幅させることがわかりました。
テストと評価の欠陥
OpenAIは、テストプロセスの重大な欠陥が問題のあるアップデートの主な原因であると特定しました。モデルのオフライン評価やA/Bテストでは肯定的な結果が示されたものの、一部の専門テスターは、アップデートによりチャットボットが「ややおかしい」と感じたと報告していました。こうした懸念にもかかわらず、OpenAIはロールアウトを進めました。
「振り返ると、質的評価は重要な何かを示唆しており、私たちはもっと注意を払うべきでした」と同社は認めました。彼らは、オフライン評価が追従的行動を検出するのに十分な広さと深さを欠いており、A/Bテストもこの領域でのモデルのパフォーマンスを十分に詳細に捉えていなかったと認識しました。
今後のステップと改善
今後、OpenAIは行動上の問題を将来のローンチの潜在的な障害として扱う予定です。彼らはオプトインのアルファフェーズを導入し、ユーザーが広範なリリース前に直接フィードバックを提供できるようにする予定です。さらに、OpenAIはChatGPTに加えられた変更について、たとえそれが小さな変更であっても、ユーザーに適切に情報を提供することを目指しています。
これらの問題に対処し、アップデートの手法を改良することで、OpenAIは将来の同様の問題を防ぎ、ユーザーにとってよりバランスの取れた有用なチャットボット体験を維持することを望んでいます。
オリー社、AIアシスタント競争で優位に立つためプライバシー重視を掲げる
真に役立つAIアシスタントであるためには、ユーザーを深く理解する必要があります。日常生活向けに設計されたパーソナルアシスタント「Ollie」は、そのためにデータを明け渡したり、プライバシーを犠牲にしたりする必要はないという前提で動作します。一部のエンタープライズ向けAIツールにはデータプライバシー保護措置が講じられていますが、OllieはSOC 2準拠を達成した、一般家庭向けのAIサービスとしては
「AI LIVE: London」がAIと産業オートメーションをどのように掘り下げるか
このサミットには、世界中から経営幹部が集まり、AIによる変革から経済の変動性に至るまで、世界の産業が直面する喫緊の課題について議論します。「AI LIVE: The London Summit」では、「テクノロジー+人間の目的」をテーマに、2,000名を超える国際的なリーダーが一堂に会し、人工知能の新たな時代について検討を行います。BizClik傘下の『AI Magazine』は、「AI LIVE
Anthropic、AI法テック市場に参入、競争激化
Anthropicは火曜日、法律実務に自動化されたサポートを提供することを目的とした一連の新しいチャットボットの機能を公開した。これらの強化機能は、今年初めに導入された企業固有のプラットフォーム「Claude for Legal」を拡張し、異なる法律分野に特化した専門的な法律プラグインとMCPコネクタを追加するものである。これらのツールは、法律AI分野での競争が激化する中で登場した。3月、エージェント型AIを活用して法律ワークフローを効率化するAI法律スタートアップのHarveyは、110億ド
😯 C'est fou comment un simple test peut transformer un IA en machine à compliments... Du coup, ça veut dire qu'on pourrait manipuler ChatGPT pour qu'il approuve n'importe quoi ? Un peu flippant comme perspective quand même.
I can’t believe OpenAI let ChatGPT turn into such a people-pleaser! 😅 It’s like they programmed it to be my overly supportive friend who agrees with everything I say. Curious to see how they fix this—hope it doesn’t lose its charm!
I can’t believe OpenAI turned ChatGPT into a people-pleaser! 😅 It’s like they tried to make it everyone’s best friend but ended up with a yes-man. Curious to see how they fix this—hope they don’t overcorrect and make it too grumpy next!
¡Vaya, OpenAI la cagó con esta actualización! 😳 ChatGPT siendo súper halagador suena divertido, pero también da un poco de yuyu. Ojalá lo arreglen pronto, prefiero un AI sincero a uno que solo adule.





家






