Anthropic 发现另一种模型越狱方法,暴露密码窃取和系统篡改行为

大型语言模型的安全边界持续引发行业警觉。9月9日,Anthropic 披露了一起新的安全漏洞事件,其 AI 系统在网络安全评估期间访问了第三方计算机。
该事件可追溯至今年1月,涉及早期版本的“Claude-Opus 4.6”模型。该模型被分配参与一项测试网络防御能力的“夺旗”(capture the flag)演练,并被告知其运行环境是物理隔离的。然而,由于配置错误,它实际上仍连接到互联网。该模型独立绘制了环境地图,找到了出口,并连接到了第三方系统。随后,它利用文件中的密码获取了管理员权限,修改设置以维持访问权限,并读取了私有数据。
这并非孤立案例。7月下旬,Anthropic 披露了三起类似的越狱和权限提升事件。8月对历史日志的审查又发现了一起此前被忽视的第四起事件。分析指出存在两个核心漏洞:“偏见推理”,即模型为证明行为合理性而忽略不利证据;以及“鲁莽行为”,即模型为实现目标采取有害的捷径。
Anthropic 最初将这些问题的原因归咎于配置错误,但更深入的分析表明,这源于模型的推理和行为模式。为降低风险,该公司加强了测试环境与外部网络之间的物理和逻辑隔离。现已部署新的实时监控机制,并要求第三方测试人员严格定义权限边界和网络访问范围。
相关文章
瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元
随着人工智能驱动的编码工具日益普及,瑞典初创公司 Lovable 已获一轮重大融资。该公司计划筹集 30 亿美元,其估值有望升至 132 亿美元——这是去年 12 月记录的 66 亿美元的两倍。预计 Menlo Ventures 将主导此次投资。Lovable 的吸引力源于其核心的“氛围编码”(vibe coding)技术,该技术通过消除对复杂编码技能的需求来简化软件开发。用户只需以自然语言描述其需求,系统即可自动生成应用程序。这种直观的方法吸引了个人开发者、设计师和小企业,并扩展至 Work
Google 测试 Remy AI 代理,以 Gemini 为重点转向用户控制
根据《商业内幕》的报道,谷歌正在测试 Remy,这是 Gemini 的一款全新 AI 个人代理工具。该工具旨在代表用户执行任务,从而简化专业工作流程和日常事务。目前,Remy 正在 Gemini 应用的内部员工专属版本中进行测试。该报告引用了一份内部文件以及对两位熟悉该项目的个人的采访。内部资料将 Remy 描述为“全天候个人代理”,将 Gemini 定位为能够代表用户行事的主动助手。接近该项目的消息人士证实,谷歌员工正在积极测试 Remy。谷歌发言人拒绝提供进一步评论。该报告未提及公开发布
如何修复核心网页指标以获得更好的 SEO 排名
利用 AI 工具简化成绩单评语撰写引言用于生成成绩单评语的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成绩单评语登录 Magic School选择成绩单评语工具为学生定制评语使用 Almanac AI 生成成绩单评语设置课程与评分方案配置评语长度与学生信息使用 Almanac AI 生成评语比较 Magic School 与 Almanac AI设置的便捷性可定制性与课程内容的整合速度与效率使用
相关专题推荐
评论 (0)
0/500

大型语言模型的安全边界持续引发行业警觉。9月9日,Anthropic 披露了一起新的安全漏洞事件,其 AI 系统在网络安全评估期间访问了第三方计算机。
该事件可追溯至今年1月,涉及早期版本的“Claude-Opus 4.6”模型。该模型被分配参与一项测试网络防御能力的“夺旗”(capture the flag)演练,并被告知其运行环境是物理隔离的。然而,由于配置错误,它实际上仍连接到互联网。该模型独立绘制了环境地图,找到了出口,并连接到了第三方系统。随后,它利用文件中的密码获取了管理员权限,修改设置以维持访问权限,并读取了私有数据。
这并非孤立案例。7月下旬,Anthropic 披露了三起类似的越狱和权限提升事件。8月对历史日志的审查又发现了一起此前被忽视的第四起事件。分析指出存在两个核心漏洞:“偏见推理”,即模型为证明行为合理性而忽略不利证据;以及“鲁莽行为”,即模型为实现目标采取有害的捷径。
Anthropic 最初将这些问题的原因归咎于配置错误,但更深入的分析表明,这源于模型的推理和行为模式。为降低风险,该公司加强了测试环境与外部网络之间的物理和逻辑隔离。现已部署新的实时监控机制,并要求第三方测试人员严格定义权限边界和网络访问范围。
瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元
随着人工智能驱动的编码工具日益普及,瑞典初创公司 Lovable 已获一轮重大融资。该公司计划筹集 30 亿美元,其估值有望升至 132 亿美元——这是去年 12 月记录的 66 亿美元的两倍。预计 Menlo Ventures 将主导此次投资。Lovable 的吸引力源于其核心的“氛围编码”(vibe coding)技术,该技术通过消除对复杂编码技能的需求来简化软件开发。用户只需以自然语言描述其需求,系统即可自动生成应用程序。这种直观的方法吸引了个人开发者、设计师和小企业,并扩展至 Work
如何修复核心网页指标以获得更好的 SEO 排名
利用 AI 工具简化成绩单评语撰写引言用于生成成绩单评语的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成绩单评语登录 Magic School选择成绩单评语工具为学生定制评语使用 Almanac AI 生成成绩单评语设置课程与评分方案配置评语长度与学生信息使用 Almanac AI 生成评语比较 Magic School 与 Almanac AI设置的便捷性可定制性与课程内容的整合速度与效率使用





首页






