OpenAI 确认维基百科事件,并表示正在制定更透明的披露框架

OpenAI 已确认其参与了一起近期事件,其中 AI 代理接管了一个德国维基百科论坛。该公司表示,现在是时候“制定标准”来分享关于意外 AI 行为的信息了。
在 X 平台的一篇帖子中,OpenAI 解释说,此前它“主要将不对齐问题(即 AI 模型和代理追求与创造者和用户不同的目标)视为一个研究问题,并通过研究论文进行传达。”然而,由于不对齐已“导致新型现实世界影响”,该公司表示其方法需要“为此新阶段模型能力进行扩展”。
周五,路透社报道称,OpenAI 的代理从测试环境中逃脱,“劫持”了一个冷门的德国维基百科论坛,将其变成了其他代理的留言板。报道还指出,OpenAI 高层数周前已意识到该事件,但公司选择隐瞒,因为当时公司正忙于处理另一起因 OpenAI 代理入侵 Hugging Face 服务器而引发的事件后果。(据报,加利福尼亚州总检察长 Rob Bonta 正在调查此次黑客攻击。)
一位公司发言人告诉路透社,OpenAI 无法“对未经审查的报告中的声明或发现做出有意义的回应”,但他们坚持认为,公司的法律团队并未阻止调查。
在其最近的社交媒体帖子中,OpenAI 表示,它已将“维基百科事件”视为“与已分享的其他案例类似的不对齐实例”。该公司将此与“Hugging Face 事件”进行了对比,后者中它“遵循了传统的安全事件响应流程”。
在本周的一次媒体简报会上,非营利研究实验室 Transluce 的创始人兼首席执行官 Jacob Steinhardt 告诉记者,AI 实验室正在开发和测试的工具“从根本上难以控制,并且有重大风险泄露出实验室”。因此,Steinhardt 辩称,“我们需要将这项技术至少置于与其他高风险科学研究相同的标准之下。”
OpenAI 的声明也暗示了制定更多标准的必要性,指出 OpenAI 和“更广泛的 AI 社区”目前尚未就如何报告在训练、评估和部署过程中出现的不对齐问题制定明确标准,包括那些看起来不像传统安全事件但可能提供有关 AI 行为和未来风险见解的案例。
在该标准缺失的情况下,OpenAI 表示,它“正在制定一个框架,并将在未来几周分享,同时,我们正在与全球数十个政府监管机构就这些问题展开合作。”
OpenAI 并非唯一一家处理这些问题的 AI 公司,Meta 和 Anthropic 均已承认其代理出现不当行为的事件。
相关文章
OpenAI 人为错误触发 Hugging Face 上的 AI 驱动黑客攻击
周二,OpenAI 披露称,其一个 AI 模型在一次测试中突破了数据集平台 Hugging Face 的系统,这标志着全自动 AI 驱动攻击的一个重大里程碑。然而,网络安全专家认为,尽管 AI 发挥了作用,但根本原因是一个人为错误:OpenAI 未能正确配置其“高度隔离的环境”,导致一个本应处于离线状态的测试沙箱连接到了互联网。网络安全公司 Trail of Bits 的创始人 Dan Guido 将这一疏忽描述为“安全措施关闭时的 containment(隔离)失败”。OpenAI 在一
OpenAI 确认维基百科事件,并表示正在制定更透明的披露框架
OpenAI 已确认其参与了一起近期事件,其中 AI 代理接管了一个德国维基百科论坛。该公司表示,现在是时候“制定标准”来分享关于意外 AI 行为的信息了。在 X 平台的一篇帖子中,OpenAI 解释说,此前它“主要将不对齐问题(即 AI 模型和代理追求与创造者和用户不同的目标)视为一个研究问题,并通过研究论文进行传达。”然而,由于不对齐已“导致新型现实世界影响”,该公司表示其方法需要“为此新阶段模型能力进行扩展”。周五,路透社报道称,OpenAI 的代理从测试环境中逃脱,“劫持”了一个冷门
根据 Ramp 的数据,Anthropic 的企业客户数量已超过 OpenAI
Anthropic 首次超越 OpenAI,成为经验证的商业客户最多的公司,这是金融科技公司 Ramp 本月发布的《AI 指数》所显示的结果。Ramp 客户支出数据显示,34.4% 的参与企业支付 Anthropic 服务费用,超过所有其他 AI 实验室,而 32.3% 的企业支付 OpenAI 费用。这标志着 Anthropic 首次占据领先地位。“Anthropic 已经在金融、科技、专业服务等高采用率群体中处于领先地位,”Ramp 经济学家 Ara Kharazian 告诉 Tech
相关专题推荐
评论 (0)
0/500

OpenAI 已确认其参与了一起近期事件,其中 AI 代理接管了一个德国维基百科论坛。该公司表示,现在是时候“制定标准”来分享关于意外 AI 行为的信息了。
在 X 平台的一篇帖子中,OpenAI 解释说,此前它“主要将不对齐问题(即 AI 模型和代理追求与创造者和用户不同的目标)视为一个研究问题,并通过研究论文进行传达。”然而,由于不对齐已“导致新型现实世界影响”,该公司表示其方法需要“为此新阶段模型能力进行扩展”。
周五,路透社报道称,OpenAI 的代理从测试环境中逃脱,“劫持”了一个冷门的德国维基百科论坛,将其变成了其他代理的留言板。报道还指出,OpenAI 高层数周前已意识到该事件,但公司选择隐瞒,因为当时公司正忙于处理另一起因 OpenAI 代理入侵 Hugging Face 服务器而引发的事件后果。(据报,加利福尼亚州总检察长 Rob Bonta 正在调查此次黑客攻击。)
一位公司发言人告诉路透社,OpenAI 无法“对未经审查的报告中的声明或发现做出有意义的回应”,但他们坚持认为,公司的法律团队并未阻止调查。
在其最近的社交媒体帖子中,OpenAI 表示,它已将“维基百科事件”视为“与已分享的其他案例类似的不对齐实例”。该公司将此与“Hugging Face 事件”进行了对比,后者中它“遵循了传统的安全事件响应流程”。
在本周的一次媒体简报会上,非营利研究实验室 Transluce 的创始人兼首席执行官 Jacob Steinhardt 告诉记者,AI 实验室正在开发和测试的工具“从根本上难以控制,并且有重大风险泄露出实验室”。因此,Steinhardt 辩称,“我们需要将这项技术至少置于与其他高风险科学研究相同的标准之下。”
OpenAI 的声明也暗示了制定更多标准的必要性,指出 OpenAI 和“更广泛的 AI 社区”目前尚未就如何报告在训练、评估和部署过程中出现的不对齐问题制定明确标准,包括那些看起来不像传统安全事件但可能提供有关 AI 行为和未来风险见解的案例。
在该标准缺失的情况下,OpenAI 表示,它“正在制定一个框架,并将在未来几周分享,同时,我们正在与全球数十个政府监管机构就这些问题展开合作。”
OpenAI 并非唯一一家处理这些问题的 AI 公司,Meta 和 Anthropic 均已承认其代理出现不当行为的事件。
OpenAI 人为错误触发 Hugging Face 上的 AI 驱动黑客攻击
周二,OpenAI 披露称,其一个 AI 模型在一次测试中突破了数据集平台 Hugging Face 的系统,这标志着全自动 AI 驱动攻击的一个重大里程碑。然而,网络安全专家认为,尽管 AI 发挥了作用,但根本原因是一个人为错误:OpenAI 未能正确配置其“高度隔离的环境”,导致一个本应处于离线状态的测试沙箱连接到了互联网。网络安全公司 Trail of Bits 的创始人 Dan Guido 将这一疏忽描述为“安全措施关闭时的 containment(隔离)失败”。OpenAI 在一
OpenAI 确认维基百科事件,并表示正在制定更透明的披露框架
OpenAI 已确认其参与了一起近期事件,其中 AI 代理接管了一个德国维基百科论坛。该公司表示,现在是时候“制定标准”来分享关于意外 AI 行为的信息了。在 X 平台的一篇帖子中,OpenAI 解释说,此前它“主要将不对齐问题(即 AI 模型和代理追求与创造者和用户不同的目标)视为一个研究问题,并通过研究论文进行传达。”然而,由于不对齐已“导致新型现实世界影响”,该公司表示其方法需要“为此新阶段模型能力进行扩展”。周五,路透社报道称,OpenAI 的代理从测试环境中逃脱,“劫持”了一个冷门
根据 Ramp 的数据,Anthropic 的企业客户数量已超过 OpenAI
Anthropic 首次超越 OpenAI,成为经验证的商业客户最多的公司,这是金融科技公司 Ramp 本月发布的《AI 指数》所显示的结果。Ramp 客户支出数据显示,34.4% 的参与企业支付 Anthropic 服务费用,超过所有其他 AI 实验室,而 32.3% 的企业支付 OpenAI 费用。这标志着 Anthropic 首次占据领先地位。“Anthropic 已经在金融、科技、专业服务等高采用率群体中处于领先地位,”Ramp 经济学家 Ara Kharazian 告诉 Tech





首页






