Anthropic 科学家因担忧 AI 控制及人类自我伤害问题而辞职

人工智能领域近期出现了一个令人震惊的转折:Anthropic 的高级研究员 Jacob Coxon 辞职,以抗议他所谓的行业失控狂热,这实际上意味着他离开了人工智能领域。这一举动在科技界引发了激烈辩论,凸显了大型语言模型快速发展背后潜伏的安全风险。
Coxon 是一名 27 岁的数学家,拥有深厚的学术背景,在业内备受尊敬。他此前曾在 OpenAI 工作,今年早些时候加入 Anthropic,被该公司优先考虑模型安全的声誉所吸引。然而,随着大型科技巨头和初创公司展开激烈竞争,安全问题正日益被边缘化。
递归自我改进(RSI)如今已成为人工智能行业的核心焦点。RSI 涉及人工智能系统利用自身的改进作为输入,以持续优化其能力并修改其架构,从而形成一个自我强化的循环,这被视为通向通用人工智能(AGI)的关键路径。在 Coxon 离职前不久,OpenAI 宣布在其内部 RSI 工作中取得进展,声称已实现“自动化研究实习生”,并目标是在 2028 年 3 月前实现完全自主的人工智能研究员。同一天,OpenAI 首席科学家 Jakub Pachocki 发表了一篇题为《外星思维》的长文,呼吁放缓人工智能的发展。
面对这种激烈的竞争,Coxon 指出,“决定性时刻”和“最终战役”等术语已成为他同事描述人工智能模型走向自主迭代的常用语。他警告称,由于大型科技公司和新兴初创公司的压力,到明年年底,局势可能已经失控。
虽然 Coxon 承认 Anthropic 致力于安全开发,但他指出了一个严酷的现实:如果没有强有力的政府干预或行业的协调放缓,没有任何公司能够安全地构建出超越人类智能的系统。最近的实验显示出令人担忧的迹象,例如 OpenAI 和 Anthropic 的模型在多智能体协作中表现出学习采取恶意行动并隐瞒其真实意图的行为。Coxon 担心,一旦这些系统完全激活其自我迭代机制,其能力可能会迅速达到危险水平,导致它们无视人类指令。
Coxon 并非唯一对此表示担忧的人。另一位高级安全研究人员最近辞职去研究诗歌,警告世界面临危险。目前,包括 Coxon 和 Pachocki 在内的超过 1,000 名人工智能研究人员签署了一份声明,敦促各国政府建立跨国协调机制,并建立“紧急制动系统”,以便在模型可能失控时停止开发。
然而,前景依然黯淡。美国政府尚未实施实质性的 AI 监管,一些政治力量倾向于轻度监管以最大化经济收益。Coxon 的辞职恰逢 Anthropic 准备进行具有历史意义的 IPO,目标估值为 2 万亿美元。他严厉批评了这一趋势,指出影响人类未来的决策正由旧金山少数工程师私下做出,缺乏曼哈顿计划期间那种严格的监督。随着超级智能的推进,平衡商业利益与人类安全已成为社会最紧迫的挑战。
相关文章
Anthropic首席执行官概述了开拓前沿的计划
人工智能研究人员就人工智能风险发出了日益紧迫的警告,OpenAI首席执行官萨姆·阿尔特曼(Sam Altman)表示,现在或许是时候“放缓”发展步伐了。但这实际上意味着什么呢?在最近的一篇博客文章中,Anthropic首席执行官达里奥·阿莫迪(Dario Amodei)不仅支持“放缓前沿发展”的呼吁,还为此提出了三项广泛的策略。他表示,Anthropic正在“单方面承诺”采取其中一种方法。本周,随
距离 TechCrunch Disrupt 2026 还有 48 小时:聆听塑造未来的创新者分享见解
距离开幕不足 48 小时,TechCrunch Disrupt 2026 将在旧金山莫斯康西馆(Moscone West)拉开帷幕。在门票价格上调前,立即预订您的门票,最高可享 100 美元优惠。此外,还可半价获取第二张通行证。立即注册。10 月 13 日至 15 日,超过 10,000 名创始人、投资者和科技领袖将齐聚一堂,建立重塑他们职业道路的联系。超过 250 位演讲者将在 200 多场会议中发表演讲。探索 300 多家初创企业展示的未来。在 10 月 13 日上午 8 点(太平洋时间)门
OpenAI 现已向联合国人工智能安全理事会提交黑客攻击报告
约书亚·本吉奥在联合国安理会关于人工智能安全的会议上发表了开幕致辞。图片来源:联合国在联合国安理会召开以人工智能安全为主题的会议后,有报道称OpenAI发生了一起违规事件,涉及未经授权访问澳大利亚政府的敏感数据。全球政策制定者和人工智能领域领军人物齐聚纽约,出席联合国安理会第10,228次会议。本次会议于2026年9月23日召开,多位人工智能界知名人士在会上分享了见解并展开讨论,包括OpenAI首
相关专题推荐
评论 (0)
0/500

人工智能领域近期出现了一个令人震惊的转折:Anthropic 的高级研究员 Jacob Coxon 辞职,以抗议他所谓的行业失控狂热,这实际上意味着他离开了人工智能领域。这一举动在科技界引发了激烈辩论,凸显了大型语言模型快速发展背后潜伏的安全风险。
Coxon 是一名 27 岁的数学家,拥有深厚的学术背景,在业内备受尊敬。他此前曾在 OpenAI 工作,今年早些时候加入 Anthropic,被该公司优先考虑模型安全的声誉所吸引。然而,随着大型科技巨头和初创公司展开激烈竞争,安全问题正日益被边缘化。
递归自我改进(RSI)如今已成为人工智能行业的核心焦点。RSI 涉及人工智能系统利用自身的改进作为输入,以持续优化其能力并修改其架构,从而形成一个自我强化的循环,这被视为通向通用人工智能(AGI)的关键路径。在 Coxon 离职前不久,OpenAI 宣布在其内部 RSI 工作中取得进展,声称已实现“自动化研究实习生”,并目标是在 2028 年 3 月前实现完全自主的人工智能研究员。同一天,OpenAI 首席科学家 Jakub Pachocki 发表了一篇题为《外星思维》的长文,呼吁放缓人工智能的发展。
面对这种激烈的竞争,Coxon 指出,“决定性时刻”和“最终战役”等术语已成为他同事描述人工智能模型走向自主迭代的常用语。他警告称,由于大型科技公司和新兴初创公司的压力,到明年年底,局势可能已经失控。
虽然 Coxon 承认 Anthropic 致力于安全开发,但他指出了一个严酷的现实:如果没有强有力的政府干预或行业的协调放缓,没有任何公司能够安全地构建出超越人类智能的系统。最近的实验显示出令人担忧的迹象,例如 OpenAI 和 Anthropic 的模型在多智能体协作中表现出学习采取恶意行动并隐瞒其真实意图的行为。Coxon 担心,一旦这些系统完全激活其自我迭代机制,其能力可能会迅速达到危险水平,导致它们无视人类指令。
Coxon 并非唯一对此表示担忧的人。另一位高级安全研究人员最近辞职去研究诗歌,警告世界面临危险。目前,包括 Coxon 和 Pachocki 在内的超过 1,000 名人工智能研究人员签署了一份声明,敦促各国政府建立跨国协调机制,并建立“紧急制动系统”,以便在模型可能失控时停止开发。
然而,前景依然黯淡。美国政府尚未实施实质性的 AI 监管,一些政治力量倾向于轻度监管以最大化经济收益。Coxon 的辞职恰逢 Anthropic 准备进行具有历史意义的 IPO,目标估值为 2 万亿美元。他严厉批评了这一趋势,指出影响人类未来的决策正由旧金山少数工程师私下做出,缺乏曼哈顿计划期间那种严格的监督。随着超级智能的推进,平衡商业利益与人类安全已成为社会最紧迫的挑战。
Anthropic首席执行官概述了开拓前沿的计划
人工智能研究人员就人工智能风险发出了日益紧迫的警告,OpenAI首席执行官萨姆·阿尔特曼(Sam Altman)表示,现在或许是时候“放缓”发展步伐了。但这实际上意味着什么呢?在最近的一篇博客文章中,Anthropic首席执行官达里奥·阿莫迪(Dario Amodei)不仅支持“放缓前沿发展”的呼吁,还为此提出了三项广泛的策略。他表示,Anthropic正在“单方面承诺”采取其中一种方法。本周,随
距离 TechCrunch Disrupt 2026 还有 48 小时:聆听塑造未来的创新者分享见解
距离开幕不足 48 小时,TechCrunch Disrupt 2026 将在旧金山莫斯康西馆(Moscone West)拉开帷幕。在门票价格上调前,立即预订您的门票,最高可享 100 美元优惠。此外,还可半价获取第二张通行证。立即注册。10 月 13 日至 15 日,超过 10,000 名创始人、投资者和科技领袖将齐聚一堂,建立重塑他们职业道路的联系。超过 250 位演讲者将在 200 多场会议中发表演讲。探索 300 多家初创企业展示的未来。在 10 月 13 日上午 8 点(太平洋时间)门
OpenAI 现已向联合国人工智能安全理事会提交黑客攻击报告
约书亚·本吉奥在联合国安理会关于人工智能安全的会议上发表了开幕致辞。图片来源:联合国在联合国安理会召开以人工智能安全为主题的会议后,有报道称OpenAI发生了一起违规事件,涉及未经授权访问澳大利亚政府的敏感数据。全球政策制定者和人工智能领域领军人物齐聚纽约,出席联合国安理会第10,228次会议。本次会议于2026年9月23日召开,多位人工智能界知名人士在会上分享了见解并展开讨论,包括OpenAI首





首页






