政府是如何认定OpenAI的“Frontier”模型可以安全发布的

OpenAI 已推出其最新的先进语言模型 Sol,并向公众开放。Sol 被广泛认为在能力上可与 Anthropic 的 Fable 媲美——后者曾因争议颇大,一度引发白宫担忧,导致其公开访问权限被暂时限制。
这些模型最终是如何获得发布批准的?答案仍不明朗。
“坦率地说,我无法了解这些具体流程的细节,所以确实,我觉得自己掌握的信息不足以判断这些流程是否充分,”乔治城大学安全与新兴技术中心的高级研究分析师米娜·纳拉亚南(Mina Narayanan)告诉TechCrunch。 “Anthropic确实表示他们正在与政府进行沟通,并且开发了一个分类器来检测越狱尝试,还实施了防御性漏洞策略以防止未来发生越狱,但政府与Anthropic及OpenAI之间的对话具体情况尚不清楚。”
曾任特朗普政策顾问、现供职于OpenAI的迪恩·W·鲍尔(Dean W. Ball)在上个月的通讯中指出:“没有人知道获得许可需要满足哪些要求。”
计算机科学家安迪·康温斯基(Andy Konwinski)曾联合创立Databricks、Perplexity和Laude Institute,他表示,即使在顶尖AI实验室的员工中,他也从未与任何人交谈过,对方能完全理解这一流程。“这本质上是一个问题,”他告诉TechCrunch。 “无论是否涉及安全问题,关键在于谁拥有决策权——谁来把关并决定许可权限?”
特朗普政府上台已有一年半,尽管——或者正如一些批评者所指责的那样,正因为——行业人士正在影响政策制定,但关于如何推进此事仍缺乏明确方向。上个月,经过数周的内部争论,一份行政命令发布,概述了评估前沿模型的路线图,但除了一些“不会存在”的内容外,具体细节仍未填补。 “不会设立专门监管人工智能的FDA,”前安德森·霍洛维茨合伙人斯里拉姆·克里希南告诉《金融时报》。他此前一直担任白宫人工智能高级顾问,直至上个月离职。
值得注意的是,目前仍未就哪些类型的模型需要政府审查,以及应由哪个或哪些机构进行评估达成共识。 目前,商务部下属的人工智能标准与创新中心似乎正在主导这项工作,但该行政命令要求六个内阁级机构在8月初之前确定最终流程。在此期间所采取的措施,充其量只能算是临时性的。
OpenAI首席执行官萨姆·奥特曼(Sam Altman)向CNBC透露,该流程涉及与商务部长霍华德·卢特尼克(Howard Lutnick)、财政部长斯科特·贝森特(Scott Bessent)以及美国国家网络安全总监肖恩·凯恩克罗斯(Sean Cairncross)等官员的讨论,但目前尚不清楚测试模型的专家具体是谁,也不清楚他们是如何进行这些测试的。 OpenAI 拒绝向 TechCrunch 透露有关政府评估流程的细节,而是指出了最新模型安全卡中包含的由英国 AISI、SecureBio 和 Irregular 等机构进行的几项外部评估结果。
与Anthropic推出Fable模型的方式类似,OpenAI在广泛发布前曾向政府及部分用户预览了该模型,但具体有哪些用户以及他们是如何选定的,目前尚不清楚。 在6月下旬的一篇博客文章中,该公司表示:“我们认为此类政府访问流程不应成为长期常态”,并补充称将与政府合作探索不同的前进路径。
这些对话的背景包括:有报道称阿尔特曼曾为政府所谓的“特朗普账号”提供高达5%的OpenAI股权,此外,OpenAI总裁格雷格·布罗克曼还是特朗普中期选举政治运作中已公开的最大捐助者。 对于外部观察者而言,很难将这些活动与政府对Sol采取的看似较为宽松的监管方式区分开来。
另一方面,当美国政府禁止外国公民使用Anthropic公司的“Fable”模型时,该模型曾短暂被限制广泛访问——部分原因是政府确实担心用户会“越狱”该模型以获取黑客能力,部分原因则是Anthropic与特朗普政府之间存在性格冲突。 出口禁令的威胁可能也促使OpenAI对政府的(未知)要求表现出更强的配合态度。
从行业角度来看,放任不管的监管方式看似颇具吸引力,但若依赖与政府官员的个人关系,则会带来不确定性并产生不良激励。
康温斯基(Konwinski)向 TechCrunch 表示,他担心该领域的真正专家——“安全研究人员、对齐研究人员、可解释性研究人员,以及数据专家和整个技术栈各环节的人员”——在模型发布过程中未能发挥应有的作用。
科恩温斯基认为,“开放公共领域”是平衡安全与创新的最佳途径。他以美国食品药品监督管理局(FDA)、美国国家卫生研究院(NIH)或国家实验室等机构为例,这些机构汇聚了研究人员、政府官员和私营企业,就安全问题达成共识。
这在一定程度上归因于资本主义的激励机制——这种机制十多年来一直驱动着人工智能研究人员,并在埃隆·马斯克挑战OpenAI公司治理结构的诉讼中,于法庭上得到了体现。鲍尔指出,人工智能业务的本质要求企业在模型发布后短期内收回大部分训练成本,从而在竞争中保持领先地位。
“即使他们的初衷是好的,但运营程序中也明确嵌入了法律义务和受托责任,”康温斯基指出。
鲍尔在帖子中认为,未来的发展将取决于由政府授权的第三方审计机构,这些机构将评估前沿实验室的安全措施。康温斯基也对新的机构形式持乐观态度,例如专门的研究组织,它们有助于让更多来自学术界和非营利领域的无利害关系专家接触并评估前沿模型。
目前,围绕人工智能开发的保密氛围并未消散,但这也将为这一行业埋下政治挑战的种子——美国民众对该行业的怀疑态度正日益加深。 “人们感觉不到这些变革是由负责任的人在推动,”威斯康星大学麦迪逊分校计算机科学教授雷姆齐·阿尔帕奇-杜索上周在“开放前沿”(Open Frontier)会议上表示。
在同一场活动中,计算机科学家大卫·西格尔——他创立了最成功的量化对冲基金之一“Two Sigma”——请与会者“设想一种情况,我认为这将非常糟糕:少数几家公司掌控这项技术; 政府在秘密实验室里评估这项技术是否适合使用;而普通公众和科学界却根本无法接触到这些信息。”
看来,我们根本无需去想象这种情景。
相关文章
山姆·奥特曼引发关于人工智能减速的辩论
在Apple Podcasts上收听在Spotify上收听OpenAI首席执行官萨姆·阿尔特曼(Sam Altman)最近表示,现在可能是时候“控制人工智能的发展速度”,以便社会“在这些新的能力水平周围加固自身”。在TechCrunch《Equity》播客的最新一期中,Kirsten Korosec、Sean O’Kane和我讨论了阿尔特曼的言论可能由最近的一次黑客攻击所触发,该攻击中一名OpenAI代理突破了Hugging Face的系统。Sean指出,虽然由AI代理执行的黑客攻击是前所未
OpenAI 与苹果公司就商业秘密诉讼进行对抗
OpenAI 于周二驳回了苹果公司的商业秘密指控,称该诉讼毫无根据。“我们认真对待这些指控,但未发现任何支持它们的证据,”OpenAI 表示,据彭博社记者 Ed Ludlow 在 X 平台报道,“我们支持公平竞争和工作自由,专注于创造赋能全球用户的技术。”此前,苹果公司于周五在美国加利福尼亚州北区联邦地区法院提起诉讼,指控 OpenAI 策划了一项从前苹果员工处窃取机密数据和知识产权的计划。这份长达 41 页的诉状针对 OpenAI 的高管层,包括首席硬件官 Tang Tan,他是一名拥有
OpenAI机器人项目主管凯特琳·卡利诺夫斯基因五角大楼合作项目辞职
OpenAI 机器人业务负责人凯特琳·卡利诺夫斯基(Caitlin Kalinowski)在该公司与国防部达成备受争议的合作伙伴关系后辞职。“这不是一个轻松的决定,”卡利诺夫斯基在社交媒体声明中解释道。“虽然人工智能在国家安全中发挥着至关重要的作用,但在没有司法监督的情况下对美国公民进行监视,以及在未经人类授权的情况下部署致命自主武器,都是需要更加慎重考虑的界限。”卡利诺夫斯基此前因领导 Meta 的增强现实眼镜部门而闻名,她于 2024 年 11 月加入 OpenAI。在辞职信中,她强调她
相关专题推荐
评论 (0)
0/500

OpenAI 已推出其最新的先进语言模型 Sol,并向公众开放。Sol 被广泛认为在能力上可与 Anthropic 的 Fable 媲美——后者曾因争议颇大,一度引发白宫担忧,导致其公开访问权限被暂时限制。
这些模型最终是如何获得发布批准的?答案仍不明朗。
“坦率地说,我无法了解这些具体流程的细节,所以确实,我觉得自己掌握的信息不足以判断这些流程是否充分,”乔治城大学安全与新兴技术中心的高级研究分析师米娜·纳拉亚南(Mina Narayanan)告诉TechCrunch。 “Anthropic确实表示他们正在与政府进行沟通,并且开发了一个分类器来检测越狱尝试,还实施了防御性漏洞策略以防止未来发生越狱,但政府与Anthropic及OpenAI之间的对话具体情况尚不清楚。”
曾任特朗普政策顾问、现供职于OpenAI的迪恩·W·鲍尔(Dean W. Ball)在上个月的通讯中指出:“没有人知道获得许可需要满足哪些要求。”
计算机科学家安迪·康温斯基(Andy Konwinski)曾联合创立Databricks、Perplexity和Laude Institute,他表示,即使在顶尖AI实验室的员工中,他也从未与任何人交谈过,对方能完全理解这一流程。“这本质上是一个问题,”他告诉TechCrunch。 “无论是否涉及安全问题,关键在于谁拥有决策权——谁来把关并决定许可权限?”
特朗普政府上台已有一年半,尽管——或者正如一些批评者所指责的那样,正因为——行业人士正在影响政策制定,但关于如何推进此事仍缺乏明确方向。上个月,经过数周的内部争论,一份行政命令发布,概述了评估前沿模型的路线图,但除了一些“不会存在”的内容外,具体细节仍未填补。 “不会设立专门监管人工智能的FDA,”前安德森·霍洛维茨合伙人斯里拉姆·克里希南告诉《金融时报》。他此前一直担任白宫人工智能高级顾问,直至上个月离职。
值得注意的是,目前仍未就哪些类型的模型需要政府审查,以及应由哪个或哪些机构进行评估达成共识。 目前,商务部下属的人工智能标准与创新中心似乎正在主导这项工作,但该行政命令要求六个内阁级机构在8月初之前确定最终流程。在此期间所采取的措施,充其量只能算是临时性的。
OpenAI首席执行官萨姆·奥特曼(Sam Altman)向CNBC透露,该流程涉及与商务部长霍华德·卢特尼克(Howard Lutnick)、财政部长斯科特·贝森特(Scott Bessent)以及美国国家网络安全总监肖恩·凯恩克罗斯(Sean Cairncross)等官员的讨论,但目前尚不清楚测试模型的专家具体是谁,也不清楚他们是如何进行这些测试的。 OpenAI 拒绝向 TechCrunch 透露有关政府评估流程的细节,而是指出了最新模型安全卡中包含的由英国 AISI、SecureBio 和 Irregular 等机构进行的几项外部评估结果。
与Anthropic推出Fable模型的方式类似,OpenAI在广泛发布前曾向政府及部分用户预览了该模型,但具体有哪些用户以及他们是如何选定的,目前尚不清楚。 在6月下旬的一篇博客文章中,该公司表示:“我们认为此类政府访问流程不应成为长期常态”,并补充称将与政府合作探索不同的前进路径。
这些对话的背景包括:有报道称阿尔特曼曾为政府所谓的“特朗普账号”提供高达5%的OpenAI股权,此外,OpenAI总裁格雷格·布罗克曼还是特朗普中期选举政治运作中已公开的最大捐助者。 对于外部观察者而言,很难将这些活动与政府对Sol采取的看似较为宽松的监管方式区分开来。
另一方面,当美国政府禁止外国公民使用Anthropic公司的“Fable”模型时,该模型曾短暂被限制广泛访问——部分原因是政府确实担心用户会“越狱”该模型以获取黑客能力,部分原因则是Anthropic与特朗普政府之间存在性格冲突。 出口禁令的威胁可能也促使OpenAI对政府的(未知)要求表现出更强的配合态度。
从行业角度来看,放任不管的监管方式看似颇具吸引力,但若依赖与政府官员的个人关系,则会带来不确定性并产生不良激励。
康温斯基(Konwinski)向 TechCrunch 表示,他担心该领域的真正专家——“安全研究人员、对齐研究人员、可解释性研究人员,以及数据专家和整个技术栈各环节的人员”——在模型发布过程中未能发挥应有的作用。
科恩温斯基认为,“开放公共领域”是平衡安全与创新的最佳途径。他以美国食品药品监督管理局(FDA)、美国国家卫生研究院(NIH)或国家实验室等机构为例,这些机构汇聚了研究人员、政府官员和私营企业,就安全问题达成共识。
这在一定程度上归因于资本主义的激励机制——这种机制十多年来一直驱动着人工智能研究人员,并在埃隆·马斯克挑战OpenAI公司治理结构的诉讼中,于法庭上得到了体现。鲍尔指出,人工智能业务的本质要求企业在模型发布后短期内收回大部分训练成本,从而在竞争中保持领先地位。
“即使他们的初衷是好的,但运营程序中也明确嵌入了法律义务和受托责任,”康温斯基指出。
鲍尔在帖子中认为,未来的发展将取决于由政府授权的第三方审计机构,这些机构将评估前沿实验室的安全措施。康温斯基也对新的机构形式持乐观态度,例如专门的研究组织,它们有助于让更多来自学术界和非营利领域的无利害关系专家接触并评估前沿模型。
目前,围绕人工智能开发的保密氛围并未消散,但这也将为这一行业埋下政治挑战的种子——美国民众对该行业的怀疑态度正日益加深。 “人们感觉不到这些变革是由负责任的人在推动,”威斯康星大学麦迪逊分校计算机科学教授雷姆齐·阿尔帕奇-杜索上周在“开放前沿”(Open Frontier)会议上表示。
在同一场活动中,计算机科学家大卫·西格尔——他创立了最成功的量化对冲基金之一“Two Sigma”——请与会者“设想一种情况,我认为这将非常糟糕:少数几家公司掌控这项技术; 政府在秘密实验室里评估这项技术是否适合使用;而普通公众和科学界却根本无法接触到这些信息。”
看来,我们根本无需去想象这种情景。
山姆·奥特曼引发关于人工智能减速的辩论
在Apple Podcasts上收听在Spotify上收听OpenAI首席执行官萨姆·阿尔特曼(Sam Altman)最近表示,现在可能是时候“控制人工智能的发展速度”,以便社会“在这些新的能力水平周围加固自身”。在TechCrunch《Equity》播客的最新一期中,Kirsten Korosec、Sean O’Kane和我讨论了阿尔特曼的言论可能由最近的一次黑客攻击所触发,该攻击中一名OpenAI代理突破了Hugging Face的系统。Sean指出,虽然由AI代理执行的黑客攻击是前所未
OpenAI 与苹果公司就商业秘密诉讼进行对抗
OpenAI 于周二驳回了苹果公司的商业秘密指控,称该诉讼毫无根据。“我们认真对待这些指控,但未发现任何支持它们的证据,”OpenAI 表示,据彭博社记者 Ed Ludlow 在 X 平台报道,“我们支持公平竞争和工作自由,专注于创造赋能全球用户的技术。”此前,苹果公司于周五在美国加利福尼亚州北区联邦地区法院提起诉讼,指控 OpenAI 策划了一项从前苹果员工处窃取机密数据和知识产权的计划。这份长达 41 页的诉状针对 OpenAI 的高管层,包括首席硬件官 Tang Tan,他是一名拥有
OpenAI机器人项目主管凯特琳·卡利诺夫斯基因五角大楼合作项目辞职
OpenAI 机器人业务负责人凯特琳·卡利诺夫斯基(Caitlin Kalinowski)在该公司与国防部达成备受争议的合作伙伴关系后辞职。“这不是一个轻松的决定,”卡利诺夫斯基在社交媒体声明中解释道。“虽然人工智能在国家安全中发挥着至关重要的作用,但在没有司法监督的情况下对美国公民进行监视,以及在未经人类授权的情况下部署致命自主武器,都是需要更加慎重考虑的界限。”卡利诺夫斯基此前因领导 Meta 的增强现实眼镜部门而闻名,她于 2024 年 11 月加入 OpenAI。在辞职信中,她强调她





首页






