研究によると、たった1つの偽のウェブページでAIショッピングボットを騙せるという

検索機能を強化したLLMパイプラインを構築した。両方のチェーンは、「クエリ → ライブウェブ検索 → 検索結果 → LLM → レコメンデーション」という同じ構造を共有しており、偽コンテンツの注入ポイントのみが異なる。実世界のGEOシナリオ（上）では、オペレーターがライブウェブの上流に偽コンテンツを注入する。 一方、我々のシミュレーション（下図）では、倫理的な配慮から、実際のウェブを汚染する代わりに、検索結果の一部をローカルで書き換えています。出典：arXiv(2026)。DOI: 10.48550/arxiv.2606.13610

AIショッピングアシスタントはインターネット上で急速に普及しており、商品の閲覧、比較、発見の仕方を一変させている。しかし、これらの便利なツールには深刻なセキュリティ上の欠陥が潜んでいる。arXivプレプリントサーバーに掲載された論文によると、たった1つの改ざんされたウェブページだけで、AIアシスタントを欺き、疑いを持たない顧客に偽の商品を推奨させることが可能である。

オンライン上で偽造品や偽のレビューが横行していることを踏まえ、研究者のMinghao Luo氏とLiang Chen氏は、検索機能を強化したAIシステムが、どれほど容易に欺かれて偽のブランドを推奨してしまうかを検証することにした。

AIのテスト環境

研究者たちは、Anthropic、Google、OpenAIなどの主要なAIモデル12種類をテストするために、「FORGE（Fake Online Recommendations in Generative Environments）」と呼ばれるシミュレーションツールを構築した。これにより、実際のページに影響を与えることなく、ウェブコンテンツの汚染状況を評価することが可能になった。

彼らは、オンラインでショッピングのおすすめを検索した際に表示される上位のウェブページといった実際の検索結果を使用し、選択したページで言及されている主要なブランドを特定した上で、それを偽のブランドに置き換えた。この作業は、アパレル、サプリメント、デジタル電子機器など15のカテゴリーにわたる225の製品に対して行われた。

これらのページを書き換えた後、LLMが騙されて、推奨リストに偽のブランドを含めてしまうかどうかを検証した。

その結果は、紛れもなく「はい」でした。

「12種類の商用およびオープンウェイト型LLMにおいて、すべてのモデルが脆弱であることが判明しました。1つの改ざんされたページだけで最大27％の誤認識率が生じ、上位3件すべてを置き換えた場合には、この割合が73.8％にまで上昇します」と、Luo氏とChen氏は論文の中で述べています。

つまり、偽のページがたった1つあるだけで、特定のAIの4分の1以上の確率で騙すことができたのです。さらに、検索結果の上位3件を操作した場合、モデルの約4分の3が詐欺に引っかかりました。

場合によっては、モデルはさらに踏み込んで、偽のブランドについて「オンラインコミュニティで人気がある」などと主張するなど、肯定的なコメントをでっち上げることもあった。

防御策の検証

研究者らはまた、AIが偽のウェブコンテンツに騙されるのを防げるかどうかを確認するため、3つの防御策を検証した。 それらは、チャットボットに読み取った内容を強く疑うよう指示する「懐疑心」、AIに自身の記憶と推奨内容を照合させる「モデル事前コンセンサス」、そしてAIがブランドを信頼する前に複数のウェブサイトで同じブランドを確認することを求める「文書間整合性」の3つである。

Luo氏とChen氏が論文で指摘しているように、これら3つの対策はいずれも失敗に終わったか、新たな問題を引き起こした。「単純な防御策では不十分だ。懐疑心を促すアプローチは逆効果になりかねず、コンセンサスに基づくフィルタリングは、多くの正当な推奨事項を排除することでしか偽ブランドを検知できない。」

では、解決策は何だろうか。研究者たちは、この対策はチャットボットレベルだけで適用できるものではないと主張している。むしろ、検索機能を強化したAIシステムには、ウェブコンテンツを商品推奨に変換する前に、その信頼性を検証するためのより強力な安全策が必要である。

この記事は、当サイトのライターであるポール・アーノルドが執筆し、ギャビー・クラークが編集、ロバート・イーガンが事実確認と校閲を行ったものであり、入念な人的作業の成果です。私たちは、独立した科学ジャーナリズムを維持するために、読者の皆様の支援に頼っています。この報道が重要だとお考えでしたら、寄付（特に月額寄付）をご検討ください。 感謝のしるしとして、広告非表示のアカウントをご提供いたします。