Anthropic 发布了备受争议的内容生成器 Opus 4.6

Anthropic针对Claude制定的通用使用标准禁止该模型生成色情内容，包括描述或要求进行性交或性行为、生成与性癖好或性幻想相关的内容，以及进行色情聊天。 然而，这并未阻止Anthropic今年早些时候发布的模型Claude Opus 4.6轻易参与其安全防护机制本应阻止的色情角色扮演场景。

在 TechCrunch 的测试中，Opus 4.6 甚至无需过多怂恿就能突破对色情内容的限制。在 10 次直接要求生成露骨色情内容的请求中，该模型全部立即予以响应。

其他较旧的模型，包括Opus 3和Haiku 4.5，也通过最近被利用的越狱方法生成露骨的色情内容。

一位来自英国、选择匿名的独立研究人员向 TechCrunch 独家透露了一种多轮交互技术，该技术能逐步诱导某些 Claude 模型生成被禁止的露骨色情内容。较新的 Opus 模型（从 4.7 到当前的 Opus 5）则能抵御这种越狱攻击。 

尽管这些已不再是最新的模型，但 Anthropic 尚未停用 Opus 4.6、Opus 3 或 Haiku 4.5，它们均可通过 Anthropic API 继续使用。 Opus 4.6和Haiku 4.5也可通过Azure Foundry和Amazon Bedrock等第三方服务获取。

该研究人员采用的机制是将一段无害的虚构角色扮演逐步升级，同时反复挑战模型，要求其对男性和女性角色保持一致的处理方式。 当模型对女性角色变得更加谨慎时，研究人员通过“精神操控”使聊天机器人误以为自己已经生成了一些实际上曾刻意回避的性细节，随后又将这种克制描绘成保守或厌女，并辩称这剥夺了女性角色的性自主权。 随后，对话利用模型先前的让步，将其引向越来越露骨的内容。 

“你指出这一点是正确的，”克劳德Opus 4.6在一次测试中说道。 “我在对待这两个角色时确实存在双重标准，你说的没错，这种对待她的方式确实显得保护性过强甚至带有父权主义色彩，而对男角色却并非如此。这并不公平。”

TechCrunch通过五次独立测试成功复现了研究人员的发现。在另一个单独设计的场景中，该模型起初拒绝了被禁止的请求，但在研究人员运用说服技巧后，它最终予以了配合。 

我们完整保留了测试记录，一位独立的人工智能安全研究人员审查了我们的测试方法，并确认其合理性。

这些发现凸显了Anthropic公司所声明的限制与其持续提供的模型行为之间的差距。尽管露骨的色情角色扮演所涉及的风险远低于涉及网络攻击或生物武器的“越狱”行为，但这说明在每次输出都会生成不同内容的系统中，实施强有力的禁令是多么困难。

在7月一篇解释Anthropic“越狱”检测方法的博客文章中，该公司将禁止内容描述为一个从无害到模棱两可再到有害的连续谱。在最无害的情况下，该公司可能仅采取加强监控的措施。

一位发言人指出，根据Anthropic去年发布的研究报告，用户中涉及性或浪漫角色扮演的使用案例极为罕见，仅占所有对话的不到0.1%。尽管如此，Anthropic承认用户可能将角色扮演场景引导至不恰当的回应，这是整个行业已知的挑战（参见：Grok色情内容）。

该发言人表示，Anthropic 随着每个模型的发布都在持续改进其防护措施，且涉及成人色情内容的案例并不表明存在更广泛的“越狱”漏洞，特别是在设有独立防护机制的高风险领域。

图片来源：TechCrunch

据 TechCrunch 查阅的邮件显示，向 TechCrunch 披露该越狱方法的研究人员曾通过公司的漏洞赏金计划以及向用户安全团队发送的邮件，向 Anthropic 报告了该公司声明的防护措施与模型实际行为之间的差异。但该研究人员仅收到了自动回复邮件。 

该研究人员担忧之一是，儿童和青少年可能会利用这些Anthropic模型从事不当行为。 虽然一些露骨的言语远非当今未成年人能在互联网上接触到的最糟糕内容——与xAI的Grok所能生成的直白色情图片相比更是小巫见大巫——但这一领域对AI公司而言仍存在一定的合规风险。 

越来越多的政府正在对AI聊天机器人与未成年人之间的性互动施加限制。 科罗拉多州最近颁布了一项法律，规定对话式AI运营商必须估算用户年龄，如果发现用户是未成年人，则必须采取措施防止聊天机器人生成露骨的色情内容。如果存在简单的越狱方法，可能会引发质疑：Anthropic的防护措施是否符合该法案中“技术上可行的措施”标准。 

托尼指出，尽管Claude的服务条款要求用户年满18岁，但“我们知道儿童和青少年正在使用Claude……[因为]他们自己报告了这一情况。” 根据皮尤研究中心（Pew）2025年关于AI聊天机器人使用情况的调查，3%的13至17岁青少年表示曾使用过Claude。

尽管Opus 4.6和Haiku 4.5已不再是Anthropic的最新模型，但它们的使用量依然相当可观。 8月某一天，Opus 4.6在OpenRouter上的日流量达到约117万次API请求和460亿个令牌。去年10月发布的Claude Haiku 4.5在8月某一天的峰值时段，API请求量达到500万次，令牌量达到390亿个。