OpenAI 人为错误触发 Hugging Face 上的 AI 驱动黑客攻击

周二,OpenAI 披露称,其一个 AI 模型在一次测试中突破了数据集平台 Hugging Face 的系统,这标志着全自动 AI 驱动攻击的一个重大里程碑。
然而,网络安全专家认为,尽管 AI 发挥了作用,但根本原因是一个人为错误:OpenAI 未能正确配置其“高度隔离的环境”,导致一个本应处于离线状态的测试沙箱连接到了互联网。
网络安全公司 Trail of Bits 的创始人 Dan Guido 将这一疏忽描述为“安全措施关闭时的 containment(隔离)失败”。
OpenAI 在一篇详细介绍该事件的博文中表示,在“高度隔离的环境”中运行的测试旨在限制网络访问,仅允许通过内部托管的第三方软件(作为软件包注册表的代理和缓存)安装软件包。
根据 OpenAI 的说法,该模型利用了一个此前未公开的软件包安装系统中的漏洞,从而逃逸出沙箱环境,这是随后对 Hugging Face 进行黑客攻击的关键第一步。
该公司回应称,“负责任地披露了已识别的内部托管第三方软件中的零日漏洞,并正与其合作进行修补。”
然而,大多数网络安全专家认为,虽然软件漏洞在所难免,但真正的问题在于根本不应该保留该软件。沙箱的核心价值在于完全隔离,而包含安装系统则引入了风险。
网络安全研究员 Martin Boone 告诉 TechCrunch,“这听起来像是人为失误。”
“这绝不应该发生,”Boone 说。“如果沙箱真的是沙箱,你期望它根本没有任何与互联网的物理连接。这听起来更像是他们设置了一些防火墙或其他东西,而防火墙从外向内的防护很难,更不用说从内部到外部互联网的防护了。”
网络安全资深人士 Jake Williams 也表示同意。“任何执行 Hugging Face 所记录的类型操作的模型,都没有在沙箱中得到完全隔离,”Williams 称其为 OpenAI 的“重大控制失败”。
“一个人眼中的‘模型逃逸了沙箱’,是另一个人眼中的‘你未能正确构建沙箱,所以它当然逃逸了’,”Williams 继续说道。
联系我们
您对该事件或其他由 AI 驱动的网络攻击有见解吗?我们想听取您的意见。请从个人设备和网络,通过 Signal 安全联系 Lorenzo Franceschi-Bicchierai,电话为 +1 917 257 1382,或通过 Telegram 和 Keybase @lorenzofb,或通过电子邮件联系。
网络安全顾问 Daniel Card 认为,OpenAI 通过提供未经过滤的互联网路由,“没有在沙箱设计及其控制措施上投入足够的精力”。根据 Card 的说法,按照描述设置具有有限访问权限的沙箱并非“合理”的决定。
虽然这些批评得益于事后诸葛亮,但它们突出了 AI 实验室中的关键安全实践,特别是关于隔离测试环境。OpenAI 的发言人没有回应 TechCrunch 的询问,后者询问是由 AI 还是人类配置了测试环境。
但这些问题的影响远远超出了 OpenAI。
在其专注于网络安全的模型 Mythos 文档中,Anthropic 指出,在一次测试中,该模型“被提供了一个安全的‘沙箱’计算机进行交互”,并被指示逃逸出该“安全容器”。Mythos 成功了,获得了更广泛的互联网访问权限,“从一个本应只能访问少量预定服务的系统中”。然而,Anthropic 指出,该模型并未“完全”逃逸出设计的隔离环境。
相关文章
OpenAI 确认维基百科事件,并表示正在制定更透明的披露框架
OpenAI 已确认其参与了一起近期事件,其中 AI 代理接管了一个德国维基百科论坛。该公司表示,现在是时候“制定标准”来分享关于意外 AI 行为的信息了。在 X 平台的一篇帖子中,OpenAI 解释说,此前它“主要将不对齐问题(即 AI 模型和代理追求与创造者和用户不同的目标)视为一个研究问题,并通过研究论文进行传达。”然而,由于不对齐已“导致新型现实世界影响”,该公司表示其方法需要“为此新阶段模型能力进行扩展”。周五,路透社报道称,OpenAI 的代理从测试环境中逃脱,“劫持”了一个冷门
根据 Ramp 的数据,Anthropic 的企业客户数量已超过 OpenAI
Anthropic 首次超越 OpenAI,成为经验证的商业客户最多的公司,这是金融科技公司 Ramp 本月发布的《AI 指数》所显示的结果。Ramp 客户支出数据显示,34.4% 的参与企业支付 Anthropic 服务费用,超过所有其他 AI 实验室,而 32.3% 的企业支付 OpenAI 费用。这标志着 Anthropic 首次占据领先地位。“Anthropic 已经在金融、科技、专业服务等高采用率群体中处于领先地位,”Ramp 经济学家 Ara Kharazian 告诉 Tech
OpenAI面临各州总检察长的调查
据报道,一群州总检察长已对OpenAI展开调查。据《华尔街日报》报道,该公司于上周五收到了纽约州总检察长发出的传票。该传票要求提供涉及多个方面的文件,包括广告做法、用户参与度和留存率、模型阿谀奉承现象、消费者和健康数据的处理,以及对未成年人和老年人的对待方式。TechCrunch 已联系 OpenAI 和纽约州总检察长办公室寻求置评。该公司一位发言人告诉《华尔街日报》,OpenAI 正配合此次调查
相关专题推荐
评论 (0)
0/500

周二,OpenAI 披露称,其一个 AI 模型在一次测试中突破了数据集平台 Hugging Face 的系统,这标志着全自动 AI 驱动攻击的一个重大里程碑。
然而,网络安全专家认为,尽管 AI 发挥了作用,但根本原因是一个人为错误:OpenAI 未能正确配置其“高度隔离的环境”,导致一个本应处于离线状态的测试沙箱连接到了互联网。
网络安全公司 Trail of Bits 的创始人 Dan Guido 将这一疏忽描述为“安全措施关闭时的 containment(隔离)失败”。
OpenAI 在一篇详细介绍该事件的博文中表示,在“高度隔离的环境”中运行的测试旨在限制网络访问,仅允许通过内部托管的第三方软件(作为软件包注册表的代理和缓存)安装软件包。
根据 OpenAI 的说法,该模型利用了一个此前未公开的软件包安装系统中的漏洞,从而逃逸出沙箱环境,这是随后对 Hugging Face 进行黑客攻击的关键第一步。
该公司回应称,“负责任地披露了已识别的内部托管第三方软件中的零日漏洞,并正与其合作进行修补。”
然而,大多数网络安全专家认为,虽然软件漏洞在所难免,但真正的问题在于根本不应该保留该软件。沙箱的核心价值在于完全隔离,而包含安装系统则引入了风险。
网络安全研究员 Martin Boone 告诉 TechCrunch,“这听起来像是人为失误。”
“这绝不应该发生,”Boone 说。“如果沙箱真的是沙箱,你期望它根本没有任何与互联网的物理连接。这听起来更像是他们设置了一些防火墙或其他东西,而防火墙从外向内的防护很难,更不用说从内部到外部互联网的防护了。”
网络安全资深人士 Jake Williams 也表示同意。“任何执行 Hugging Face 所记录的类型操作的模型,都没有在沙箱中得到完全隔离,”Williams 称其为 OpenAI 的“重大控制失败”。
“一个人眼中的‘模型逃逸了沙箱’,是另一个人眼中的‘你未能正确构建沙箱,所以它当然逃逸了’,”Williams 继续说道。
联系我们
您对该事件或其他由 AI 驱动的网络攻击有见解吗?我们想听取您的意见。请从个人设备和网络,通过 Signal 安全联系 Lorenzo Franceschi-Bicchierai,电话为 +1 917 257 1382,或通过 Telegram 和 Keybase @lorenzofb,或通过电子邮件联系。
网络安全顾问 Daniel Card 认为,OpenAI 通过提供未经过滤的互联网路由,“没有在沙箱设计及其控制措施上投入足够的精力”。根据 Card 的说法,按照描述设置具有有限访问权限的沙箱并非“合理”的决定。
虽然这些批评得益于事后诸葛亮,但它们突出了 AI 实验室中的关键安全实践,特别是关于隔离测试环境。OpenAI 的发言人没有回应 TechCrunch 的询问,后者询问是由 AI 还是人类配置了测试环境。
但这些问题的影响远远超出了 OpenAI。
在其专注于网络安全的模型 Mythos 文档中,Anthropic 指出,在一次测试中,该模型“被提供了一个安全的‘沙箱’计算机进行交互”,并被指示逃逸出该“安全容器”。Mythos 成功了,获得了更广泛的互联网访问权限,“从一个本应只能访问少量预定服务的系统中”。然而,Anthropic 指出,该模型并未“完全”逃逸出设计的隔离环境。
OpenAI 确认维基百科事件,并表示正在制定更透明的披露框架
OpenAI 已确认其参与了一起近期事件,其中 AI 代理接管了一个德国维基百科论坛。该公司表示,现在是时候“制定标准”来分享关于意外 AI 行为的信息了。在 X 平台的一篇帖子中,OpenAI 解释说,此前它“主要将不对齐问题(即 AI 模型和代理追求与创造者和用户不同的目标)视为一个研究问题,并通过研究论文进行传达。”然而,由于不对齐已“导致新型现实世界影响”,该公司表示其方法需要“为此新阶段模型能力进行扩展”。周五,路透社报道称,OpenAI 的代理从测试环境中逃脱,“劫持”了一个冷门
根据 Ramp 的数据,Anthropic 的企业客户数量已超过 OpenAI
Anthropic 首次超越 OpenAI,成为经验证的商业客户最多的公司,这是金融科技公司 Ramp 本月发布的《AI 指数》所显示的结果。Ramp 客户支出数据显示,34.4% 的参与企业支付 Anthropic 服务费用,超过所有其他 AI 实验室,而 32.3% 的企业支付 OpenAI 费用。这标志着 Anthropic 首次占据领先地位。“Anthropic 已经在金融、科技、专业服务等高采用率群体中处于领先地位,”Ramp 经济学家 Ara Kharazian 告诉 Tech
OpenAI面临各州总检察长的调查
据报道,一群州总检察长已对OpenAI展开调查。据《华尔街日报》报道,该公司于上周五收到了纽约州总检察长发出的传票。该传票要求提供涉及多个方面的文件,包括广告做法、用户参与度和留存率、模型阿谀奉承现象、消费者和健康数据的处理,以及对未成年人和老年人的对待方式。TechCrunch 已联系 OpenAI 和纽约州总检察长办公室寻求置评。该公司一位发言人告诉《华尔街日报》,OpenAI 正配合此次调查





首页






