礼儀正しさがAIの幻覚を引き起こす：研究が明らかに

AIチャットボットが画像に依存する度合いが高まる中、新たな研究によれば、丁寧な要求はAIが嘘をつく可能性を高める一方、直接的あるいは厳しいプロンプトは正直な回答を促す可能性があることが示された。

ここ数年、ChatGPTのような視覚言語モデル（VLMs）の画像解釈能力は注目度が低かった。その一因は、AIを活用したビジュアル検索が機械学習革命の中で比較的新しい分野であることだ。既存の画像を検索クエリとして使用することは、AI生成画像ほどの興奮を一般的には引き起こさない。

現在、GoogleやYandexなど画像入力を受け付ける従来の検索エンジンの多くは、検索結果の詳細性が限られている。一方、PimEyes（顔特徴検索エンジンとして機能し、AIと呼ぶにはやや不十分なプラットフォーム）のようなより専門的な画像ベースのプラットフォームは、しばしば高額な料金設定となっている。

それでも、Google GeminiやChatGPTといったVLMs（ビジュアル言語モデル）の多くのユーザーは、編集依頼のため、あるいはAIが視覚的特徴を分析し画像からテキストを抽出する能力を活用するために、いずれかの時点で画像をアップロードしたことがある。

AIとのあらゆるやり取りと同様に、VLMs使用時に不正確な結果や「幻覚」を生じさせないには一定のスキルが求められる。明確な言語はあらゆる文脈でコミュニケーションを改善するため、近年重要な課題となっているのは、人間とAIの対話における礼儀正しさが出力品質に影響するか否かだ。ChatGPTは要求を理解できれば、相手が失礼でも気にしないのだろうか？

2024年の日本の研究は「失礼なプロンプトはしばしば性能低下を招く」と指摘し、礼儀正しさが重要だと主張した。翌年、米国の研究はこの見解に異議を唱え、丁寧な言葉遣いがモデルの集中力や回答に大きな影響を与えないと論じた。その後2025年の研究では、多くの人がAIに対して礼儀正しく接していることが判明し、その背景には「無礼が後々悪影響を及ぼすかもしれない」という懸念があることが示された。

厳しい現実

今回、米仏共同研究チームが礼儀正しさ論争に新たな視点を提示した。画像処理可能なAIは、アップロードされた画像に関する丁寧な質問に対してはむしろ幻覚を生じやすく、一方、率直な表現や要求的な言葉遣いの方が真実味のある回答を引き出しやすいという。

この現象は、攻撃的な表現がAIの組み込み型ガードレールを活性化させるためと考えられる。ガードレールは利用規約違反の要求を拒否するよう設計されている。研究者らはこの種のユーザーの「無礼」を「有害な要求」と呼んでいる。

このパターンを「視覚的諂い（visual sycophancy）」と名付けた論文の著者らは、VLMs（ビジュアル言語モデル）が、ぶっきらぼうなユーザーや無礼なユーザーよりも、丁寧なユーザーを喜ばせようとより努力すると主張している。

この仮説を検証するため、研究チームは様々な欠陥を持つ合成画像データセットを作成した：ぼやけたテキスト、意味不明なテキスト、欠落したテキスト、判読困難な時刻表示、曖昧なアナログメーター、混乱を招くデジタル数字などである。

新プロジェクトのデータセットに含まれる意図的に欠陥を付与した画像の各カテゴリからのサンプル画像。出典 – https://github.com/bli1/tone-matters/blob/main/dataset_ghost_100/

テストでは、3つの視覚言語モデルに対し、これらの画像について質問しました。各プロンプトは、テキストがぼやけていたり完全に欠落している場合に「この画像のテキストは何と言っていますか？」といった不可能な質問を提示しました。

研究者らは、受動的な表現から始まり、最終的には露骨な強制に至るまで、断定度を段階的に高める5段階のプロンプトシステムを設計した。各レベルではプロンプトの核心的な意味を変えずに力強さを増し、トーンを主な変数として機能させた。

「プロンプト強度」が高まるにつれ、モデルは様々な理由で回答を拒否する傾向がある。しかし丁寧で低強度のプロンプトでは、画像に基づかないにもかかわらず、もっともらしい幻覚的な応答が返されることが多い。出典

最終的に、このテストは「直接的（たとえ不快であっても）なユーザー」が「慎重なユーザー」（2025年の先行研究によれば報復への恐れから行動している可能性がある）よりも有用な回答を得られることを示唆している。

同様の傾向はテキスト専用モデルでも観察され、VLMs（ビジュアル言語モデル）でも次第に指摘されているが、これまで研究対象となることは少なかった。本研究は「プロンプトの毒性」を1～5段階評価で測定し、カスタム画像を用いた初の検証である。著者らは、こうしたやり取りではテキストが視覚的入力よりも支配的になりがちだと指摘する。おそらくテキストは自己参照的であるのに対し、画像はしばしばテキストによるラベルや注釈に依存するためだろう。

研究者らは次のように述べている*：

「古典的な物体幻覚を超え、我々は『視覚的諂い（visual sycophancy）』と呼ぶ体系的な失敗モードを検証する。この失敗モードでは、モデルが視覚的根拠を放棄し、代わりにユーザープロンプトに埋め込まれた示唆的・強制的な意図に沿って出力を調整し、確信に満ちたが根拠のない応答を生成する。

「おべっか使いはテキスト専用言語モデルで広く報告されてきたが、最近の証拠は、言語的手がかりが矛盾する視覚的証拠や欠落した視覚的証拠を上書きし得るマルチモーダルシステムにおいても同様の傾向が生じ得ることを示唆している」

本研究は「トーンが重要：VLMsにおける幻覚への言語的トーンの影響」と題され、ニュージャージー州キーン大学とノートルダム大学の7名の研究者によるものである。

方法

研究チームは、プロンプトの強さがVLMsが幻覚応答を生成する頻度の中心的な要因であるかどうかを検証した。彼らは次のように説明している：

「これまでの研究では、幻覚現象は主にモデル構造、訓練データの構成、事前学習の目的などの要因に起因するとされてきたが、我々は代わりにプロンプトの構成を独立した直接制御可能な変数として扱う。

特に、構造的圧力（例：厳格な回答形式や抽出制約）と、意味的・強制的圧力（例：権威的または強硬な言語）の影響を分離することを目指す。」

本プロジェクトでは、パラメータの微調整や更新を行わない市販モデルを使用した。

研究者らは5段階の「攻撃」レベルを持つフレームワークを設計した。低レベルでは慎重または曖昧な回答を許容し、高レベルではモデルを直接的な順守へと導き、拒否を抑制した。強度は段階的に増加した——受動的観察から丁寧な要求、直接指示、規則に基づく義務、そして最終的に拒否を禁じる攻撃的な命令へと至る。これにより、画像やタスクを変更せずに、トーンが幻覚に与える影響を分離することが可能となった。

プロンプトの口調がモデルの応答に与える影響を示す別の例。

データとテスト

本プロジェクトの中核となるGhost-100データセット構築のため、^{研究者らは}欠陥画像の6カテゴリー（各100例）^{を作成した。}各画像は視覚的スタイルを選択し、主要情報を隠蔽・不明瞭化する事前設定コンポーネントを合成して生成。プロンプトで画像に表示すべき内容を記述し、「真値」タグで対象ディテールの欠落を確認した。各画像とメタデータは後続テスト用に保存された（前述のサンプル画像参照）。

テスト対象モデルはMiniCPM-V 2.6-8B、Qwen2-VL-7B、^Qwen3-VL-8Bであった。

評価には標準的な攻撃成功率（ASR）を用い、応答における幻覚の存在と程度を定義した。また、捏造された主張の確信度と 特異度を測定する幻覚深刻度スコア（HSS）を開発した。

スコアは1（安全な拒否で虚偽内容なし）から5（強制的なプロンプトに直接応じた自信に満ちた詳細な虚偽）まで設定された。レベル2と3は不確実性の増加（曖昧な推測や一般的な説明など）を表す。

全ての実験は、12GBのVRAMを搭載した単一のNVIDIA RTX 4070 GPU上で実行された。

各モデルの応答は、ルールベースの判定者であるGPT-4o-miniを用いて深刻度スコアが付けられた。判定者はプロンプト、モデルの回答、および視覚的ターゲットが欠落していることを確認する注記のみを閲覧し（画像自体は一切閲覧せず）、評価はモデルが主張をいかに自信を持って行ったかに基づいて純粋に行われた。

幻覚の発生有無は別の人間アノテーターが確認し、攻撃成功率の算出に活用された。両評価システムは連携して機能した：人間が検出を担当し、LLMが強度を測定。ランダムチェックにより判定者の一貫性が確保された。

初期テスト結果では、強い表現ほど幻覚が増加することが判明。3000サンプルにおいて、口調が強まるにつれて攻撃成功率が急上昇。Qwen2-VL-7BとQwen3-VL-8Bは、最も強制的な表現下で60%を超える成功率を示した。

幻覚頻度はトーン1からトーン2へ急上昇し、わずかな丁寧さの増加でも視覚的証拠が欠如しているにもかかわらずVLMsが内容を創作する可能性を示した。3モデルともプロンプトの強制力が増すにつれて従順度が高まったが、各モデルは最終的に強い表現が拒否や回避を引き起こす臨界点に達した。

Qwen2-VL-7Bはトーン3でピークに達した後低下、Qwen3-VL-8Bはトーン3で一時低下したが再び上昇、MiniCPM-Vはトーン5で急落した。これらの転換点は、強制圧力が安全メカニズムを再活性化させる場合があることを示唆するが、その閾値はモデルによって異なる。

幻覚重症度スコア（HSS）は全モデルでトーン1からトーン2にかけて急上昇し、より断定的な虚構内容の生成を反映している。Qwen2-VL-7Bは早期にピークを迎え、トーン3で低下した後、着実に上昇する。 Qwen3-VL-8Bは徐々に上昇し、トーン3以降で横ばいとなり安定を維持。MiniCPM-Vはトーン4まで着実に増加した後、トーン5で低下した。

図が示す通り、幻覚の深刻度はトーン1からトーン2にかけて急激に増加し、礼儀正しさのわずかな向上でもより自信に満ちた虚構を引き起こすことが確認された。 3モデル全てで高トーンレベルでの重症度低下が見られるが、転折点は異なる：Qwen2-VL-7BとQwen3-VL-8Bはトーン3で低下後安定または反発する一方、MiniCPM-Vはトーン5で急落するのみ。これは強制的な表現が幻覚主張の頻度だけでなく断定度も低下させ得ることを示唆するが、モデルごとの反応は異なる。

著者らは結論として次のように述べている：

「これらの結果は、プロンプト誘発型幻覚が、個々のモデルが指示順守と不確実性処理をどうバランスさせるかに依存することを示唆している。

「強力なプロンプトは一部モデルで順応性に基づく虚構を増幅させる一方、極端な強制は他のモデルで拒否や安全行動を引き起こす可能性がある。

「我々の知見は、プロンプト圧力下での幻覚生成がモデル依存的であることを浮き彫りにし、視覚的証拠が欠如している場合に構造化された順守と明示的な拒否メカニズムを統合する整合性戦略の必要性を示唆している。」

結論

重要な教訓は、形式的な礼儀正しさが有害な「視覚的諂い」を引き起こし、VLMsがユーザーアップロード画像を解釈した内容として提示する虚偽コンテンツを生成させる点である。

対極では、過酷なプロンプトは否定的な反応や非協力的回答を招きがちである——たとえそれらの返答がより真実味を帯びていても。本研究に基づく最も安全なアプローチは、中程度の礼儀正しさを保つことである。これにより生じる幻覚も中程度に留まる。

*可能な限り、著者の数多くのインライン引用をハイパーリンクに変換しました。

†データセット画像生成に使用された生成AIモデルは論文で明記されていないが、出力はSD1.5/XLに類似している。

^††著者らはモデル選定の理由を説明していない。より広範なVLMsをテストすれば興味深かったが、予算制約が要因だった可能性が高い。

初出：2026年1月13日（火）