人工智能竞赛:极快的速度能否兼顾安全要求?
OpenAI 研究人员对人工智能安全性的批评针对的是竞争对手,这揭示了更深层次的行业斗争--一场与自身的斗争。
事情的起因是,目前正在休假并在 OpenAI 从事安全研究的哈佛大学教授 Boaz Barak 称 xAI 发布的 Grok 模型 "完全不负责任"。他批评的并不是其抢占头条的滑稽行为,而是缺少了什么:公共系统卡、详细的安全评估,以及已成为脆弱的行业规范的基本透明度。
这是一个明确而必要的行动号召。然而,OpenAI 前工程师卡尔文-弗伦奇-欧文(Calvin French-Owen)在离职三周后发表的一篇坦率反思揭示了故事的另一面。
French-Owen的叙述表明,大量OpenAI员工确实在关注安全问题,应对仇恨言论、生物武器和自残等现实威胁。然而,他提出了一个至关重要的见解:"大部分工作都没有发表。"他写道,并补充说,OpenAI "确实应该做更多的工作,将这些工作公之于众"。
在这里,一个负责任的行为者斥责一个不负责任的行为者的简单叙述不攻自破。取而代之的是,我们看到了这个行业的真正困境。整个人工智能行业都陷入了所谓的 "安全-速度悖论"(Safety-Velocity Paradox)--在以惊人速度发展的竞争压力与谨慎行事以确保人类安全的道德要求之间,存在着深刻的结构性冲突。
根据 French-Owen 的说法,OpenAI 的运营处于受控的混乱状态。该公司在短短一年内将员工人数增加了两倍,达到 3000 多人,"当你如此迅速地扩大规模时,一切都会崩溃"。这种混乱的能量是由他所描述的人工通用智能 "三雄争霸 "的巨大压力所驱动的,与谷歌和 Anthropic 直接竞争。其结果是形成了一种以惊人的速度,同时也以保密为特征的文化。
请看 OpenAI 的编码代理 Codex 的开发过程。French-Owen 将该项目形容为 "疯狂冲刺",一个小团队在短短七周内从零开始打造了一款突破性产品。
这堪称速度的教科书式范例--为了实现这一目标,他们每天工作到午夜,甚至周末也不休息。这就是这种速度带来的人力成本。在这样一个快速发展的环境中,发布人工智能安全研究成果这种缓慢而有条不紊的工作让人感觉像是在分散注意力,这又有什么奇怪的呢?
这种悖论并非源于恶意,而是由各种相互关联的强大力量共同造成的。
首先是显而易见的竞争压力。还有这些实验室的文化基因,它们起源于由 "科学家和工匠 "组成的非正式社区,重视突破性创新而非系统性流程。此外,还有一个基本的衡量问题:追踪速度和绩效很容易,但量化成功避免的灾难却异常困难。
在当今的会议室里,看得见的进步指标几乎总是比看不见的安全成就更重要。然而,行业要想向前发展,就必须将重点从指责转移到从根本上改变游戏规则上来。
我们必须重新定义产品发布的意义,使安全案例的发布与代码本身一样不可或缺。我们需要制定全行业标准,确保任何公司都不会因为恪尽职守而在竞争中处于不利地位,将安全从一个可有可无的功能转变为一个共同的、不容讨价还价的基础。
最重要的是,我们必须在人工智能实验室内培养一种文化,让每一位工程师,不仅仅是安全部的工程师,都能感受到责任感。
创造人工智能的竞赛不仅关系到谁先到达目的地,还关系到我们如何到达目的地。最终的赢家将不仅仅是速度最快的公司,而是能够向世界展示雄心和责任能够--而且必须--共同前进的公司。
另请参见:Anthropic、OpenAI、谷歌和 xAI 获得军事人工智能合同
想从行业领导者那里了解更多有关人工智能和大数据的信息?请参加在阿姆斯特丹、加利福尼亚和伦敦举办的人工智能与大数据博览会。这一综合性活动与智能自动化大会(Intelligent Automation Conference)、BlockX、数字转型周(Digital Transformation Week)和网络安全与云博览会(Cyber Security & Cloud Expo)等其他领先会议同期举行。
点击此处了解由 TechForge 提供支持的其他即将举行的企业技术活动和网络研讨会。
相关文章
Google 测试 Remy AI 代理,以 Gemini 为重点转向用户控制
根据《商业内幕》的报道,谷歌正在测试 Remy,这是 Gemini 的一款全新 AI 个人代理工具。该工具旨在代表用户执行任务,从而简化专业工作流程和日常事务。目前,Remy 正在 Gemini 应用的内部员工专属版本中进行测试。该报告引用了一份内部文件以及对两位熟悉该项目的个人的采访。内部资料将 Remy 描述为“全天候个人代理”,将 Gemini 定位为能够代表用户行事的主动助手。接近该项目的消息人士证实,谷歌员工正在积极测试 Remy。谷歌发言人拒绝提供进一步评论。该报告未提及公开发布
奥利押注隐私保护,力争在AI助手竞争中胜出
要真正发挥帮助作用,人工智能助手必须深刻理解其用户。Ollie 是一款专为日常生活设计的个人助理,其运作理念是:实现这一点无需用户交出数据,也不会损害用户的隐私。虽然某些企业级人工智能工具提供了数据隐私保护措施,但Ollie作为首批通过SOC 2认证的主流、面向家庭的人工智能服务之一,尤为突出。该认证框架允许企业通过独立审计证明,其已建立正式的控制措施来保护客户数据,并确保系统安全运行。达成这一里
AI LIVE:伦敦将如何探讨人工智能与工业自动化
本次峰会将汇聚来自全球的高管,共同探讨全球各行业面临的紧迫挑战,涵盖从人工智能驱动的颠覆性变革到经济波动等各个方面。AI LIVE:伦敦峰会将以“技术与人类使命”为主题,汇聚2,000余位国际领袖,共同探讨人工智能的新时代。BizClik旗下品牌《AI Magazine》已公布其在“AI LIVE:伦敦峰会”上举办的关于人工智能与工业自动化的联合炉边谈话环节阵容。该专题讨论会定于10月20日在伦敦
相关专题推荐
评论 (2)
0/500
Interesting piece! The fact that even OpenAI researchers are calling out their own competitors on safety issues shows how messy this race is. 🏃♂️💨 But can we really slow down without losing the edge? Feels like a prisoner's dilemma with existential stakes. 🤔
Die KI-Branche wirkt wie ein Formel-1-Rennen mit kaputten Bremsen 😅. Jeder will der Schnellste sein, aber wenn niemand Sicherheitsvorkehrungen trifft, endet das im Chaos. Interessant, dass selbst OpenAI-Mitarbeiter die Konkurrenz kritisieren – zeigt, wie gespalten die Branche ist. Vielleicht brauchen wir weniger Wettrennen und mehr Zusammenarbeit?
OpenAI 研究人员对人工智能安全性的批评针对的是竞争对手,这揭示了更深层次的行业斗争--一场与自身的斗争。
事情的起因是,目前正在休假并在 OpenAI 从事安全研究的哈佛大学教授 Boaz Barak 称 xAI 发布的 Grok 模型 "完全不负责任"。他批评的并不是其抢占头条的滑稽行为,而是缺少了什么:公共系统卡、详细的安全评估,以及已成为脆弱的行业规范的基本透明度。
这是一个明确而必要的行动号召。然而,OpenAI 前工程师卡尔文-弗伦奇-欧文(Calvin French-Owen)在离职三周后发表的一篇坦率反思揭示了故事的另一面。
French-Owen的叙述表明,大量OpenAI员工确实在关注安全问题,应对仇恨言论、生物武器和自残等现实威胁。然而,他提出了一个至关重要的见解:"大部分工作都没有发表。"他写道,并补充说,OpenAI "确实应该做更多的工作,将这些工作公之于众"。
在这里,一个负责任的行为者斥责一个不负责任的行为者的简单叙述不攻自破。取而代之的是,我们看到了这个行业的真正困境。整个人工智能行业都陷入了所谓的 "安全-速度悖论"(Safety-Velocity Paradox)--在以惊人速度发展的竞争压力与谨慎行事以确保人类安全的道德要求之间,存在着深刻的结构性冲突。
根据 French-Owen 的说法,OpenAI 的运营处于受控的混乱状态。该公司在短短一年内将员工人数增加了两倍,达到 3000 多人,"当你如此迅速地扩大规模时,一切都会崩溃"。这种混乱的能量是由他所描述的人工通用智能 "三雄争霸 "的巨大压力所驱动的,与谷歌和 Anthropic 直接竞争。其结果是形成了一种以惊人的速度,同时也以保密为特征的文化。
请看 OpenAI 的编码代理 Codex 的开发过程。French-Owen 将该项目形容为 "疯狂冲刺",一个小团队在短短七周内从零开始打造了一款突破性产品。
这堪称速度的教科书式范例--为了实现这一目标,他们每天工作到午夜,甚至周末也不休息。这就是这种速度带来的人力成本。在这样一个快速发展的环境中,发布人工智能安全研究成果这种缓慢而有条不紊的工作让人感觉像是在分散注意力,这又有什么奇怪的呢?
这种悖论并非源于恶意,而是由各种相互关联的强大力量共同造成的。
首先是显而易见的竞争压力。还有这些实验室的文化基因,它们起源于由 "科学家和工匠 "组成的非正式社区,重视突破性创新而非系统性流程。此外,还有一个基本的衡量问题:追踪速度和绩效很容易,但量化成功避免的灾难却异常困难。
在当今的会议室里,看得见的进步指标几乎总是比看不见的安全成就更重要。然而,行业要想向前发展,就必须将重点从指责转移到从根本上改变游戏规则上来。
我们必须重新定义产品发布的意义,使安全案例的发布与代码本身一样不可或缺。我们需要制定全行业标准,确保任何公司都不会因为恪尽职守而在竞争中处于不利地位,将安全从一个可有可无的功能转变为一个共同的、不容讨价还价的基础。
最重要的是,我们必须在人工智能实验室内培养一种文化,让每一位工程师,不仅仅是安全部的工程师,都能感受到责任感。
创造人工智能的竞赛不仅关系到谁先到达目的地,还关系到我们如何到达目的地。最终的赢家将不仅仅是速度最快的公司,而是能够向世界展示雄心和责任能够--而且必须--共同前进的公司。
另请参见:Anthropic、OpenAI、谷歌和 xAI 获得军事人工智能合同
想从行业领导者那里了解更多有关人工智能和大数据的信息?请参加在阿姆斯特丹、加利福尼亚和伦敦举办的人工智能与大数据博览会。这一综合性活动与智能自动化大会(Intelligent Automation Conference)、BlockX、数字转型周(Digital Transformation Week)和网络安全与云博览会(Cyber Security & Cloud Expo)等其他领先会议同期举行。
点击此处了解由 TechForge 提供支持的其他即将举行的企业技术活动和网络研讨会。
奥利押注隐私保护,力争在AI助手竞争中胜出
要真正发挥帮助作用,人工智能助手必须深刻理解其用户。Ollie 是一款专为日常生活设计的个人助理,其运作理念是:实现这一点无需用户交出数据,也不会损害用户的隐私。虽然某些企业级人工智能工具提供了数据隐私保护措施,但Ollie作为首批通过SOC 2认证的主流、面向家庭的人工智能服务之一,尤为突出。该认证框架允许企业通过独立审计证明,其已建立正式的控制措施来保护客户数据,并确保系统安全运行。达成这一里
AI LIVE:伦敦将如何探讨人工智能与工业自动化
本次峰会将汇聚来自全球的高管,共同探讨全球各行业面临的紧迫挑战,涵盖从人工智能驱动的颠覆性变革到经济波动等各个方面。AI LIVE:伦敦峰会将以“技术与人类使命”为主题,汇聚2,000余位国际领袖,共同探讨人工智能的新时代。BizClik旗下品牌《AI Magazine》已公布其在“AI LIVE:伦敦峰会”上举办的关于人工智能与工业自动化的联合炉边谈话环节阵容。该专题讨论会定于10月20日在伦敦
Interesting piece! The fact that even OpenAI researchers are calling out their own competitors on safety issues shows how messy this race is. 🏃♂️💨 But can we really slow down without losing the edge? Feels like a prisoner's dilemma with existential stakes. 🤔
Die KI-Branche wirkt wie ein Formel-1-Rennen mit kaputten Bremsen 😅. Jeder will der Schnellste sein, aber wenn niemand Sicherheitsvorkehrungen trifft, endet das im Chaos. Interessant, dass selbst OpenAI-Mitarbeiter die Konkurrenz kritisieren – zeigt, wie gespalten die Branche ist. Vielleicht brauchen wir weniger Wettrennen und mehr Zusammenarbeit?





首页






