研究显示,仅一个虚假网页就能骗过AI购物机器人

我们搭建了已部署的、基于搜索增强的大语言模型(LLM)管道。两条流程均采用相同的“查询 → 实时网络搜索 → 搜索结果 → LLM → 推荐”结构,唯一区别在于虚假内容注入的节点。在真实的GEO场景(上图)中,操作员在上游向实时网络注入虚假内容。 在我们的模拟实验(下图)中,出于伦理考量,我们选择在本地重写部分搜索结果,而非污染实时网络。来源:arXiv(2026)。DOI:10.48550/arxiv.2606.13610
AI购物助手正在互联网上迅速普及,改变了我们浏览、比较和发现商品的方式。然而,这些有用的工具却存在一个严重的安全漏洞。根据发表在arXiv预印本服务器上的一篇论文,仅需一个经过篡改的网页,就能欺骗AI助手向毫无戒心的顾客推荐假冒商品。
鉴于网络上假冒产品和虚假评论泛滥,研究人员罗明浩和陈亮着手测试:基于搜索增强的人工智能系统有多容易被误导,从而推荐虚假品牌。
AI测试平台
研究人员开发了一款名为FORGE(生成式环境中的虚假在线推荐)的模拟工具,用于测试包括Anthropic、谷歌和OpenAI在内的12种主流AI模型。这使他们能够在不影响实时网页的情况下评估网络内容污染问题。
他们利用真实的搜索结果——即在线搜索购物推荐时显示的排名前列的网页——识别出选定页面中提及的主要品牌,并将其替换为虚假品牌。这一操作针对15个类别中的225种产品进行了测试,涵盖服装、保健品和数码电子产品等领域。
重写这些页面后,他们测试了大型语言模型(LLMs)是否会被误导,并在推荐中包含虚假品牌。
答案是毋庸置疑的“是”。
“在12种商用和开放权重的LLM中,所有模型都存在漏洞:单个被污染的页面就会导致高达27%的受骗率,而将前三个搜索结果全部替换后,这一比例上升至73.8%,”罗和陈在论文中写道。
因此,仅需一个虚假页面,就足以在超过四分之一的情况下欺骗某些AI。而当前三个搜索结果被篡改时,模型中上当受骗的比例接近四分之三。
在某些情况下,这些模型甚至走得更远,编造关于虚假品牌的正面评论,例如声称这些品牌在网络社区中很受欢迎。
测试防御机制
研究人员还测试了三种防御机制,以验证它们能否防止AI上当受骗。 这三种防御机制分别是:怀疑主义——要求聊天机器人对所读内容保持高度怀疑;模型先验共识——强制AI将其推荐内容与自身记忆进行交叉核对;以及跨文档一致性——要求AI在多个网站上找到同一品牌后才予以信任。
正如罗和陈在论文中指出的,这三种防御机制要么失败,要么引发了新的问题。“简单的防御措施是不够的。怀疑论提示可能会适得其反,而基于共识的过滤虽然能识别假冒品牌,但同时也压制了许多合法的推荐。”
那么,解决方案是什么?研究人员认为,解决办法不能仅停留在聊天机器人层面。相反,搜索增强型人工智能系统需要更强大的保障措施,在将网络内容转化为产品推荐之前,先对其可信度进行验证。
本文由作者保罗·阿诺德(Paul Arnold)撰写,加比·克拉克(Gaby Clark)编辑,罗伯特·伊根(Robert Egan)负责事实核查与审阅——这是经过精心人工处理的成果。我们依靠像您这样的读者来维持独立科学新闻的生存。如果您重视这份报道,请考虑捐款(尤其是每月定期捐款)。 作为感谢,您将获得一个无广告的账户。
相关文章
瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元
随着人工智能驱动的编码工具日益普及,瑞典初创公司 Lovable 已获一轮重大融资。该公司计划筹集 30 亿美元,其估值有望升至 132 亿美元——这是去年 12 月记录的 66 亿美元的两倍。预计 Menlo Ventures 将主导此次投资。Lovable 的吸引力源于其核心的“氛围编码”(vibe coding)技术,该技术通过消除对复杂编码技能的需求来简化软件开发。用户只需以自然语言描述其需求,系统即可自动生成应用程序。这种直观的方法吸引了个人开发者、设计师和小企业,并扩展至 Work
Google 测试 Remy AI 代理,以 Gemini 为重点转向用户控制
根据《商业内幕》的报道,谷歌正在测试 Remy,这是 Gemini 的一款全新 AI 个人代理工具。该工具旨在代表用户执行任务,从而简化专业工作流程和日常事务。目前,Remy 正在 Gemini 应用的内部员工专属版本中进行测试。该报告引用了一份内部文件以及对两位熟悉该项目的个人的采访。内部资料将 Remy 描述为“全天候个人代理”,将 Gemini 定位为能够代表用户行事的主动助手。接近该项目的消息人士证实,谷歌员工正在积极测试 Remy。谷歌发言人拒绝提供进一步评论。该报告未提及公开发布
如何修复核心网页指标以获得更好的 SEO 排名
利用 AI 工具简化成绩单评语撰写引言用于生成成绩单评语的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成绩单评语登录 Magic School选择成绩单评语工具为学生定制评语使用 Almanac AI 生成成绩单评语设置课程与评分方案配置评语长度与学生信息使用 Almanac AI 生成评语比较 Magic School 与 Almanac AI设置的便捷性可定制性与课程内容的整合速度与效率使用
相关专题推荐
评论 (1)
0/500

我们搭建了已部署的、基于搜索增强的大语言模型(LLM)管道。两条流程均采用相同的“查询 → 实时网络搜索 → 搜索结果 → LLM → 推荐”结构,唯一区别在于虚假内容注入的节点。在真实的GEO场景(上图)中,操作员在上游向实时网络注入虚假内容。 在我们的模拟实验(下图)中,出于伦理考量,我们选择在本地重写部分搜索结果,而非污染实时网络。来源:arXiv(2026)。DOI:10.48550/arxiv.2606.13610
AI购物助手正在互联网上迅速普及,改变了我们浏览、比较和发现商品的方式。然而,这些有用的工具却存在一个严重的安全漏洞。根据发表在arXiv预印本服务器上的一篇论文,仅需一个经过篡改的网页,就能欺骗AI助手向毫无戒心的顾客推荐假冒商品。
鉴于网络上假冒产品和虚假评论泛滥,研究人员罗明浩和陈亮着手测试:基于搜索增强的人工智能系统有多容易被误导,从而推荐虚假品牌。
AI测试平台
研究人员开发了一款名为FORGE(生成式环境中的虚假在线推荐)的模拟工具,用于测试包括Anthropic、谷歌和OpenAI在内的12种主流AI模型。这使他们能够在不影响实时网页的情况下评估网络内容污染问题。
他们利用真实的搜索结果——即在线搜索购物推荐时显示的排名前列的网页——识别出选定页面中提及的主要品牌,并将其替换为虚假品牌。这一操作针对15个类别中的225种产品进行了测试,涵盖服装、保健品和数码电子产品等领域。
重写这些页面后,他们测试了大型语言模型(LLMs)是否会被误导,并在推荐中包含虚假品牌。
答案是毋庸置疑的“是”。
“在12种商用和开放权重的LLM中,所有模型都存在漏洞:单个被污染的页面就会导致高达27%的受骗率,而将前三个搜索结果全部替换后,这一比例上升至73.8%,”罗和陈在论文中写道。
因此,仅需一个虚假页面,就足以在超过四分之一的情况下欺骗某些AI。而当前三个搜索结果被篡改时,模型中上当受骗的比例接近四分之三。
在某些情况下,这些模型甚至走得更远,编造关于虚假品牌的正面评论,例如声称这些品牌在网络社区中很受欢迎。
测试防御机制
研究人员还测试了三种防御机制,以验证它们能否防止AI上当受骗。 这三种防御机制分别是:怀疑主义——要求聊天机器人对所读内容保持高度怀疑;模型先验共识——强制AI将其推荐内容与自身记忆进行交叉核对;以及跨文档一致性——要求AI在多个网站上找到同一品牌后才予以信任。
正如罗和陈在论文中指出的,这三种防御机制要么失败,要么引发了新的问题。“简单的防御措施是不够的。怀疑论提示可能会适得其反,而基于共识的过滤虽然能识别假冒品牌,但同时也压制了许多合法的推荐。”
那么,解决方案是什么?研究人员认为,解决办法不能仅停留在聊天机器人层面。相反,搜索增强型人工智能系统需要更强大的保障措施,在将网络内容转化为产品推荐之前,先对其可信度进行验证。
本文由作者保罗·阿诺德(Paul Arnold)撰写,加比·克拉克(Gaby Clark)编辑,罗伯特·伊根(Robert Egan)负责事实核查与审阅——这是经过精心人工处理的成果。我们依靠像您这样的读者来维持独立科学新闻的生存。如果您重视这份报道,请考虑捐款(尤其是每月定期捐款)。 作为感谢,您将获得一个无广告的账户。
瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元
随着人工智能驱动的编码工具日益普及,瑞典初创公司 Lovable 已获一轮重大融资。该公司计划筹集 30 亿美元,其估值有望升至 132 亿美元——这是去年 12 月记录的 66 亿美元的两倍。预计 Menlo Ventures 将主导此次投资。Lovable 的吸引力源于其核心的“氛围编码”(vibe coding)技术,该技术通过消除对复杂编码技能的需求来简化软件开发。用户只需以自然语言描述其需求,系统即可自动生成应用程序。这种直观的方法吸引了个人开发者、设计师和小企业,并扩展至 Work
如何修复核心网页指标以获得更好的 SEO 排名
利用 AI 工具简化成绩单评语撰写引言用于生成成绩单评语的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成绩单评语登录 Magic School选择成绩单评语工具为学生定制评语使用 Almanac AI 生成成绩单评语设置课程与评分方案配置评语长度与学生信息使用 Almanac AI 生成评语比较 Magic School 与 Almanac AI设置的便捷性可定制性与课程内容的整合速度与效率使用





首页






