选项
首页
新闻
研究显示,仅一个虚假网页就能骗过AI购物机器人

研究显示,仅一个虚假网页就能骗过AI购物机器人

2026-07-25
68
研究发现,一个虚假网页就足以欺骗AI购物机器人

我们搭建了已部署的、基于搜索增强的大语言模型(LLM)管道。两条流程均采用相同的“查询 → 实时网络搜索 → 搜索结果 → LLM → 推荐”结构,唯一区别在于虚假内容注入的节点。在真实的GEO场景(上图)中,操作员在上游向实时网络注入虚假内容。 在我们的模拟实验(下图)中,出于伦理考量,我们选择在本地重写部分搜索结果,而非污染实时网络。来源:arXiv(2026)。DOI:10.48550/arxiv.2606.13610

AI购物助手正在互联网上迅速普及,改变了我们浏览、比较和发现商品的方式。然而,这些有用的工具却存在一个严重的安全漏洞。根据发表在arXiv预印本服务器上的一篇论文,仅需一个经过篡改的网页,就能欺骗AI助手向毫无戒心的顾客推荐假冒商品。

鉴于网络上假冒产品和虚假评论泛滥,研究人员罗明浩和陈亮着手测试:基于搜索增强的人工智能系统有多容易被误导,从而推荐虚假品牌。

AI测试平台

研究人员开发了一款名为FORGE(生成式环境中的虚假在线推荐)的模拟工具,用于测试包括Anthropic、谷歌和OpenAI在内的12种主流AI模型。这使他们能够在不影响实时网页的情况下评估网络内容污染问题。

他们利用真实的搜索结果——即在线搜索购物推荐时显示的排名前列的网页——识别出选定页面中提及的主要品牌,并将其替换为虚假品牌。这一操作针对15个类别中的225种产品进行了测试,涵盖服装、保健品和数码电子产品等领域。

重写这些页面后,他们测试了大型语言模型(LLMs)是否会被误导,并在推荐中包含虚假品牌。

答案是毋庸置疑的“是”。

“在12种商用和开放权重的LLM中,所有模型都存在漏洞:单个被污染的页面就会导致高达27%的受骗率,而将前三个搜索结果全部替换后,这一比例上升至73.8%,”罗和陈在论文中写道。

因此,仅需一个虚假页面,就足以在超过四分之一的情况下欺骗某些AI。而当前三个搜索结果被篡改时,模型中上当受骗的比例接近四分之三。

在某些情况下,这些模型甚至走得更远,编造关于虚假品牌的正面评论,例如声称这些品牌在网络社区中很受欢迎。

测试防御机制

研究人员还测试了三种防御机制,以验证它们能否防止AI上当受骗。 这三种防御机制分别是:怀疑主义——要求聊天机器人对所读内容保持高度怀疑;模型先验共识——强制AI将其推荐内容与自身记忆进行交叉核对;以及跨文档一致性——要求AI在多个网站上找到同一品牌后才予以信任。

正如罗和陈在论文中指出的,这三种防御机制要么失败,要么引发了新的问题。“简单的防御措施是不够的。怀疑论提示可能会适得其反,而基于共识的过滤虽然能识别假冒品牌,但同时也压制了许多合法的推荐。”

那么,解决方案是什么?研究人员认为,解决办法不能仅停留在聊天机器人层面。相反,搜索增强型人工智能系统需要更强大的保障措施,在将网络内容转化为产品推荐之前,先对其可信度进行验证。

本文由作者保罗·阿诺德(Paul Arnold)撰写,加比·克拉克(Gaby Clark)编辑,罗伯特·伊根(Robert Egan)负责事实核查与审阅——这是经过精心人工处理的成果。我们依靠像您这样的读者来维持独立科学新闻的生存。如果您重视这份报道,请考虑捐款(尤其是每月定期捐款)。 作为感谢,您将获得一个无广告的账户。

相关文章
瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元 瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元 随着人工智能驱动的编码工具日益普及,瑞典初创公司 Lovable 已获一轮重大融资。该公司计划筹集 30 亿美元,其估值有望升至 132 亿美元——这是去年 12 月记录的 66 亿美元的两倍。预计 Menlo Ventures 将主导此次投资。Lovable 的吸引力源于其核心的“氛围编码”(vibe coding)技术,该技术通过消除对复杂编码技能的需求来简化软件开发。用户只需以自然语言描述其需求,系统即可自动生成应用程序。这种直观的方法吸引了个人开发者、设计师和小企业,并扩展至 Work
Google 测试 Remy AI 代理,以 Gemini 为重点转向用户控制 Google 测试 Remy AI 代理,以 Gemini 为重点转向用户控制 根据《商业内幕》的报道,谷歌正在测试 Remy,这是 Gemini 的一款全新 AI 个人代理工具。该工具旨在代表用户执行任务,从而简化专业工作流程和日常事务。目前,Remy 正在 Gemini 应用的内部员工专属版本中进行测试。该报告引用了一份内部文件以及对两位熟悉该项目的个人的采访。内部资料将 Remy 描述为“全天候个人代理”,将 Gemini 定位为能够代表用户行事的主动助手。接近该项目的消息人士证实,谷歌员工正在积极测试 Remy。谷歌发言人拒绝提供进一步评论。该报告未提及公开发布
如何修复核心网页指标以获得更好的 SEO 排名 如何修复核心网页指标以获得更好的 SEO 排名 利用 AI 工具简化成绩单评语撰写引言用于生成成绩单评语的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成绩单评语登录 Magic School选择成绩单评语工具为学生定制评语使用 Almanac AI 生成成绩单评语设置课程与评分方案配置评语长度与学生信息使用 Almanac AI 生成评语比较 Magic School 与 Almanac AI设置的便捷性可定制性与课程内容的整合速度与效率使用
相关专题推荐
写作 最适合撰写长篇SEO文章的AI大纲生成器
最适合撰写长篇SEO文章的AI大纲生成器

2026年最新、最受好评的AI大纲生成器,专为长篇SEO文章打造,由XIX.AI精心甄选。这些强大的工具在快速创建高质量内容方面提供了颠覆性的帮助,显著提升了写作效率。 获取免费版与付费版的对比分析,以及实际测试结果和详细排名,助您找到最适合自身需求、不容错过的理想选择。立即探索,解锁您的AI竞争优势。

8 个工具
xix.ai
教育与学习 用于作业和考试备考的AI学习工具
用于作业和考试备考的AI学习工具

2026年最新最佳AI学习工具,助您轻松完成作业和备考!XIX.AI精心筛选出一份广受好评的顶级工具清单,这些功能强大、颠覆传统的工具经过实际测试,能帮助学生提升效率、简化作业流程,并轻松通过考试。 获取免费版与付费版的对比分析、详细排名以及必试选项,释放你的AI优势。立即探索!

10 个工具
xix.ai
音乐创作 面向词曲创作者、旋律片段、主旋律及多语言草稿创作的AI人声演示工具
面向词曲创作者、旋律片段、主旋律及多语言草稿创作的AI人声演示工具

2026 年最新最佳 AI 人声演示工具,专为词曲创作者、旋律创作者和多语言内容团队打造!XIX.AI 精心整理了一份经过严格真实世界测试的高评分、变革性工具列表。您将找到详细的免费与付费对比数据、全面排名以及必试选项,帮助您提升创作效率并释放创意潜力。立即探索,发现满足您所有内容需求的完美工具!

9 个工具
xix.ai
商业 适合中小企业的最佳AI竞品分析工具
适合中小企业的最佳AI竞品分析工具

2026年最新最佳、评价最高的中小企业AI竞争研究工具!XIX.AI精心精选了一系列功能强大、颠覆行业格局的工具,每周都会根据严格的实际测试和详细排名进行更新。您可以查看全面的免费版与付费版对比,从而找到那些能提升工作效率、助您赢得竞争优势的必试工具。 立即探索,发现最适合您的工具!

9 个工具
xix.ai
图像编辑 用于电商服装、皮肤清洁和色彩一致性的 Photoshop AI 修图工具
用于电商服装、皮肤清洁和色彩一致性的 Photoshop AI 修图工具

2026 年最新最佳 Photoshop AI 修图工具,适用于电商服装、皮肤清洁和色彩一致性!这份顶级精选列表包含强大的变革性解决方案,可帮助您提升写作效率、简化内容创作并轻松实现完美的视觉效果。每个工具都经过实际测试,并通过每周更新的排名进行验证,同时提供免费与付费版本的详细对比。由 XIX.AI 支持,这是任何希望发挥 AI 优势的人必试指南。立即探索!

10 个工具
xix.ai
提示词 适用于 ChatGPT 工作流的最佳 AI 提示词库
适用于 ChatGPT 工作流的最佳 AI 提示词库

2026年最新、最受好评的AI提示词库,可优化各类ChatGPT工作流程。XIX.AI精心整理了一套功能强大、具有颠覆性的提示词库,均经过严格的实际测试,以确保最佳性能。 您可以查看详细的免费版与付费版对比分析以及专家排名,这些内容将帮助您挑选出必试的工具,从而提升工作效率并释放您的AI优势。立即探索!

11 个工具
xix.ai
评论 (1)
0/500
JimmyRamirez
JimmyRamirez 2026-08-23 12:00:14

It's wild that just one fake webpage can fool AI shopping bots, does this mean we need stricter web content verification soon? 😅

OR