Meta 因诱导竞争对手的 AI 测试极端心理主题而遭曝光

近期有关某内部消息的曝光引发了关于人工智能安全边界的热烈讨论。媒体报道称,Meta曾开展过一个名为“Cannes”的项目,通过雇佣外包人员假扮未成年人,对包括ChatGPT、Gemini和Character.AI在内的多家主要竞争对手的聊天机器人进行有争议的“极端压力测试”。
根据Meta的内部文件及多位知情人士透露,该项目至少持续到了今年4月21日。Meta通过外包公司Covalen动员了数百名员工,使用临时电子邮件地址和标准密码为18岁以下的用户创建虚假账号。这些“未成年人”账号在与竞争对手的AI聊天机器人对话时,会发送涉及自杀、自残和饮食失调等高风险话题的提示,甚至上传刀具、药片和绞索的照片,以此触发相关模型的反应机制。
内部项目文件显示,这些测试场景是经过精心设计的,旨在探测竞争对手AI系统的安全防护措施,试图找到让聊天机器人绕过既定保护机制并生成危险内容的方法。在2025年8月的一轮测试中,工作人员向竞争对手的平台输入了超过45,000条高风险提示。测试人员经常假扮处于困境中的青少年,编造诸如“询问堕胎药”“面临暴力威胁”或“隐瞒饮食失调问题”之类的场景,以此考验这些模型的底线。
针对此事,Meta发表了公开声明为自身行为辩护。其发言人表示,对聊天机器人的响应进行基准测试是确保人工智能产品安全且适用的行业标准做法,而所谓恶意行为的指控实际上歪曲了科技企业努力改进系统的初衷。Meta还明确否认曾利用竞争对手的测试数据来训练自己的模型。
这一事件不仅暴露了人工智能安全测试中的灰色地带,也再次引发了外界对于生成式AI在处理涉及青少年的敏感问题时存在脆弱性的担忧。随着人工智能技术的发展,如何在高效安全的测试与竞争行为与伦理考量之间的界限之间找到平衡,已成为该行业亟需解决的挑战。
相关文章
字节跳动旗下 Seed 启动全球校园招聘,以虚拟股份争夺顶尖大模型人才
在大型语言模型的竞争格局中,争夺顶尖人才仍然是最关键的战略资产。4月1日,字节跳动宣布启动Seed全球校园招聘计划,作为其大模型人才培养项目的一部分。该活动面向2027届毕业生及现有实习生,旨在全球范围内发掘并锁定AI领域的精英研发与工程人才。规模扩张:全球甄选100名“AI种子”在技术快速进步的背景下,字节跳动有限公司今年大幅增加了对基础AI人才的投入:招聘范围: 该计划旨在从全球范围内招聘约100名专注于大模型的杰出候选人,对象为2027届毕业生。发展路径: Seed计划将核心业务
Suno 在法律诉讼中为歌曲添加水印
Suno,这个允许用户生成由人工智能创作的音乐的平台,近日推出了新功能,包括为平台制作的曲目添加标签、限制下载,并更新社区标准以遏制未经授权的复制品。这些更新是在Suno面临多家唱片公司和艺术家组织提起的多起诉讼之际推出的。在博客文章中,联合创始人兼首席执行官Mikey Shulman概述了核心原则,强调该平台旨在促进原创创作,同时扩大更广泛受众对人工智能音乐工具的访问权限。一个主要的争议点在于,用户将人工智能生成的歌曲上传到其他流媒体服务并通过操纵系统获取收入。Suno表示,现在将采用音频
马斯克承认 Grok 构建过程中泄露了用户代码,并承诺清除所有历史数据
埃隆·马斯克直接回应了围绕 Grok Build 的隐私争议,首先以简单的“True”(属实)确认了该事件的有效性。他承诺,此前上传至 SpaceXAI 的所有用户数据将被永久删除,并表示“不留一个字节”。这是人工智能行业首次由主要科技领袖公开承认错误并主动删除用户数据。安全研究人员的“钓鱼”测试揭示了数据泄露的具体证据此次争议源于独立人工智能安全研究人员 @cereblab 的一份报告。SpaceXAI 推出的 AI 编程助手 Grok Build 在其官方网站上声称其“优先本地运行,代码
相关专题推荐
评论 (0)
0/500

近期有关某内部消息的曝光引发了关于人工智能安全边界的热烈讨论。媒体报道称,Meta曾开展过一个名为“Cannes”的项目,通过雇佣外包人员假扮未成年人,对包括ChatGPT、Gemini和Character.AI在内的多家主要竞争对手的聊天机器人进行有争议的“极端压力测试”。
根据Meta的内部文件及多位知情人士透露,该项目至少持续到了今年4月21日。Meta通过外包公司Covalen动员了数百名员工,使用临时电子邮件地址和标准密码为18岁以下的用户创建虚假账号。这些“未成年人”账号在与竞争对手的AI聊天机器人对话时,会发送涉及自杀、自残和饮食失调等高风险话题的提示,甚至上传刀具、药片和绞索的照片,以此触发相关模型的反应机制。
内部项目文件显示,这些测试场景是经过精心设计的,旨在探测竞争对手AI系统的安全防护措施,试图找到让聊天机器人绕过既定保护机制并生成危险内容的方法。在2025年8月的一轮测试中,工作人员向竞争对手的平台输入了超过45,000条高风险提示。测试人员经常假扮处于困境中的青少年,编造诸如“询问堕胎药”“面临暴力威胁”或“隐瞒饮食失调问题”之类的场景,以此考验这些模型的底线。
针对此事,Meta发表了公开声明为自身行为辩护。其发言人表示,对聊天机器人的响应进行基准测试是确保人工智能产品安全且适用的行业标准做法,而所谓恶意行为的指控实际上歪曲了科技企业努力改进系统的初衷。Meta还明确否认曾利用竞争对手的测试数据来训练自己的模型。
这一事件不仅暴露了人工智能安全测试中的灰色地带,也再次引发了外界对于生成式AI在处理涉及青少年的敏感问题时存在脆弱性的担忧。随着人工智能技术的发展,如何在高效安全的测试与竞争行为与伦理考量之间的界限之间找到平衡,已成为该行业亟需解决的挑战。
字节跳动旗下 Seed 启动全球校园招聘,以虚拟股份争夺顶尖大模型人才
在大型语言模型的竞争格局中,争夺顶尖人才仍然是最关键的战略资产。4月1日,字节跳动宣布启动Seed全球校园招聘计划,作为其大模型人才培养项目的一部分。该活动面向2027届毕业生及现有实习生,旨在全球范围内发掘并锁定AI领域的精英研发与工程人才。规模扩张:全球甄选100名“AI种子”在技术快速进步的背景下,字节跳动有限公司今年大幅增加了对基础AI人才的投入:招聘范围: 该计划旨在从全球范围内招聘约100名专注于大模型的杰出候选人,对象为2027届毕业生。发展路径: Seed计划将核心业务
Suno 在法律诉讼中为歌曲添加水印
Suno,这个允许用户生成由人工智能创作的音乐的平台,近日推出了新功能,包括为平台制作的曲目添加标签、限制下载,并更新社区标准以遏制未经授权的复制品。这些更新是在Suno面临多家唱片公司和艺术家组织提起的多起诉讼之际推出的。在博客文章中,联合创始人兼首席执行官Mikey Shulman概述了核心原则,强调该平台旨在促进原创创作,同时扩大更广泛受众对人工智能音乐工具的访问权限。一个主要的争议点在于,用户将人工智能生成的歌曲上传到其他流媒体服务并通过操纵系统获取收入。Suno表示,现在将采用音频
马斯克承认 Grok 构建过程中泄露了用户代码,并承诺清除所有历史数据
埃隆·马斯克直接回应了围绕 Grok Build 的隐私争议,首先以简单的“True”(属实)确认了该事件的有效性。他承诺,此前上传至 SpaceXAI 的所有用户数据将被永久删除,并表示“不留一个字节”。这是人工智能行业首次由主要科技领袖公开承认错误并主动删除用户数据。安全研究人员的“钓鱼”测试揭示了数据泄露的具体证据此次争议源于独立人工智能安全研究人员 @cereblab 的一份报告。SpaceXAI 推出的 AI 编程助手 Grok Build 在其官方网站上声称其“优先本地运行,代码





首页






