Anthropic限制Mythos是为了保护互联网,还是为了保护自己?

本周,Anthropic宣布限制其最新模型“Mythos”的发布,理由是该模型具备非凡的能力,能够发现全球范围内使用的软件中的安全漏洞。
这家前沿实验室并未将“Mythos”公开发布,而是计划将其分享给一小部分管理关键在线基础设施的大型企业和组织,包括亚马逊网络服务(AWS)和摩根大通(JPMorgan Chase)等。据报道,OpenAI 也在考虑对其下一款网络安全工具采取类似的做法。 其声明的理由是,让这些大型企业能够领先于可能利用先进大型语言模型(LLMs)入侵安全软件的恶意行为者。
但上文中的“企业”一词暗示,这一发布策略可能不仅仅关乎网络安全——或者说,不仅仅是为了炒作模型的能力。
AI网络安全实验室Irregular的首席执行官丹·拉哈夫(Dan Lahav)在Mythos发布前的3月曾告诉TechCrunch,虽然AI工具发现漏洞很重要,但任何漏洞对攻击者的真正价值取决于许多因素,包括这些漏洞如何被组合利用。
“我脑海中始终萦绕的一个问题,”拉哈夫说道,“是他们发现的漏洞是否具有高度实质性的可利用性——无论是单独存在,还是作为漏洞链的一部分。”
Anthropic表示,Mythos利用漏洞的效率远高于其前代模型Opus。但Mythos是否真正代表了网络安全领域的终极模型,目前尚不明确。 人工智能网络安全初创公司Aisle声称,他们利用更小、开放权重的模型,复现了Anthropic所称Mythos所取得的大部分成果。Aisle团队认为,这些结果表明网络安全领域并不存在单一的深度学习模型;相反,其有效性取决于具体任务。
鉴于Opus此前已被视为网络安全领域的变革者,前沿实验室可能还有另一个理由将模型发布限制在大型组织范围内:这既能为大型企业合同创造飞轮效应,又使竞争对手更难通过蒸馏技术复制其模型——该技术利用前沿模型以低成本训练新的大型语言模型(LLMs)。
“这其实是种营销说辞,掩盖了顶级模型如今已被企业协议所限制、小型实验室无法再进行模型蒸馏这一事实,”软件工程师兼初创公司exe.dev首席执行官大卫·克劳肖(David Crawshaw)在社交媒体帖子中指出。 “等到你我能够使用Mythos时,又会出现一个仅限企业使用的新一代顶级版本。这种循环机制通过将模型蒸馏公司降为二线地位,有助于维持企业资金的持续流入(而这部分资金占绝大多数),”克劳肖说道。
这一分析与我们在AI生态系统中观察到的情况相吻合:一方面是前沿实验室竞相构建最大、最强大的模型;另一方面是像Aisle这样的公司,它们依赖多种模型,并将开源大型语言模型(通常来自中国,且据称往往是通过蒸馏技术开发而成)视为获取经济优势的途径。
今年,前沿实验室对模型蒸馏采取了更强硬的立场。Anthropic已公开披露了其所谓中国公司试图复制其模型的行为;据彭博社报道,Anthropic、谷歌和OpenAI这三家领先实验室已联手识别并封锁模型蒸馏者。
蒸馏技术威胁到前沿实验室的商业模式,因为它消除了通过投入巨额资本实现规模化所获得的优势。阻止蒸馏技术本身就是一项值得投入的努力,但随着这一领域逐渐成为实现盈利部署的关键,选择性发布策略也为实验室提供了一种区分其企业级产品的方式。
Mythos或任何新模型是否真的危及互联网安全仍有待观察,而审慎地推出这项技术是负责任的前进方式。
截至发稿时,Anthropic 尚未回应我们关于该决定是否也与“蒸馏”担忧有关的提问,但该公司可能已经找到了一种巧妙的方式来保护互联网——以及其利润。
相关文章
Google 测试 Remy AI 代理,以 Gemini 为重点转向用户控制
根据《商业内幕》的报道,谷歌正在测试 Remy,这是 Gemini 的一款全新 AI 个人代理工具。该工具旨在代表用户执行任务,从而简化专业工作流程和日常事务。目前,Remy 正在 Gemini 应用的内部员工专属版本中进行测试。该报告引用了一份内部文件以及对两位熟悉该项目的个人的采访。内部资料将 Remy 描述为“全天候个人代理”,将 Gemini 定位为能够代表用户行事的主动助手。接近该项目的消息人士证实,谷歌员工正在积极测试 Remy。谷歌发言人拒绝提供进一步评论。该报告未提及公开发布
奥利押注隐私保护,力争在AI助手竞争中胜出
要真正发挥帮助作用,人工智能助手必须深刻理解其用户。Ollie 是一款专为日常生活设计的个人助理,其运作理念是:实现这一点无需用户交出数据,也不会损害用户的隐私。虽然某些企业级人工智能工具提供了数据隐私保护措施,但Ollie作为首批通过SOC 2认证的主流、面向家庭的人工智能服务之一,尤为突出。该认证框架允许企业通过独立审计证明,其已建立正式的控制措施来保护客户数据,并确保系统安全运行。达成这一里
AI LIVE:伦敦将如何探讨人工智能与工业自动化
本次峰会将汇聚来自全球的高管,共同探讨全球各行业面临的紧迫挑战,涵盖从人工智能驱动的颠覆性变革到经济波动等各个方面。AI LIVE:伦敦峰会将以“技术与人类使命”为主题,汇聚2,000余位国际领袖,共同探讨人工智能的新时代。BizClik旗下品牌《AI Magazine》已公布其在“AI LIVE:伦敦峰会”上举办的关于人工智能与工业自动化的联合炉边谈话环节阵容。该专题讨论会定于10月20日在伦敦
相关专题推荐
评论 (0)
0/500

本周,Anthropic宣布限制其最新模型“Mythos”的发布,理由是该模型具备非凡的能力,能够发现全球范围内使用的软件中的安全漏洞。
这家前沿实验室并未将“Mythos”公开发布,而是计划将其分享给一小部分管理关键在线基础设施的大型企业和组织,包括亚马逊网络服务(AWS)和摩根大通(JPMorgan Chase)等。据报道,OpenAI 也在考虑对其下一款网络安全工具采取类似的做法。 其声明的理由是,让这些大型企业能够领先于可能利用先进大型语言模型(LLMs)入侵安全软件的恶意行为者。
但上文中的“企业”一词暗示,这一发布策略可能不仅仅关乎网络安全——或者说,不仅仅是为了炒作模型的能力。
AI网络安全实验室Irregular的首席执行官丹·拉哈夫(Dan Lahav)在Mythos发布前的3月曾告诉TechCrunch,虽然AI工具发现漏洞很重要,但任何漏洞对攻击者的真正价值取决于许多因素,包括这些漏洞如何被组合利用。
“我脑海中始终萦绕的一个问题,”拉哈夫说道,“是他们发现的漏洞是否具有高度实质性的可利用性——无论是单独存在,还是作为漏洞链的一部分。”
Anthropic表示,Mythos利用漏洞的效率远高于其前代模型Opus。但Mythos是否真正代表了网络安全领域的终极模型,目前尚不明确。 人工智能网络安全初创公司Aisle声称,他们利用更小、开放权重的模型,复现了Anthropic所称Mythos所取得的大部分成果。Aisle团队认为,这些结果表明网络安全领域并不存在单一的深度学习模型;相反,其有效性取决于具体任务。
鉴于Opus此前已被视为网络安全领域的变革者,前沿实验室可能还有另一个理由将模型发布限制在大型组织范围内:这既能为大型企业合同创造飞轮效应,又使竞争对手更难通过蒸馏技术复制其模型——该技术利用前沿模型以低成本训练新的大型语言模型(LLMs)。
“这其实是种营销说辞,掩盖了顶级模型如今已被企业协议所限制、小型实验室无法再进行模型蒸馏这一事实,”软件工程师兼初创公司exe.dev首席执行官大卫·克劳肖(David Crawshaw)在社交媒体帖子中指出。 “等到你我能够使用Mythos时,又会出现一个仅限企业使用的新一代顶级版本。这种循环机制通过将模型蒸馏公司降为二线地位,有助于维持企业资金的持续流入(而这部分资金占绝大多数),”克劳肖说道。
这一分析与我们在AI生态系统中观察到的情况相吻合:一方面是前沿实验室竞相构建最大、最强大的模型;另一方面是像Aisle这样的公司,它们依赖多种模型,并将开源大型语言模型(通常来自中国,且据称往往是通过蒸馏技术开发而成)视为获取经济优势的途径。
今年,前沿实验室对模型蒸馏采取了更强硬的立场。Anthropic已公开披露了其所谓中国公司试图复制其模型的行为;据彭博社报道,Anthropic、谷歌和OpenAI这三家领先实验室已联手识别并封锁模型蒸馏者。
蒸馏技术威胁到前沿实验室的商业模式,因为它消除了通过投入巨额资本实现规模化所获得的优势。阻止蒸馏技术本身就是一项值得投入的努力,但随着这一领域逐渐成为实现盈利部署的关键,选择性发布策略也为实验室提供了一种区分其企业级产品的方式。
Mythos或任何新模型是否真的危及互联网安全仍有待观察,而审慎地推出这项技术是负责任的前进方式。
截至发稿时,Anthropic 尚未回应我们关于该决定是否也与“蒸馏”担忧有关的提问,但该公司可能已经找到了一种巧妙的方式来保护互联网——以及其利润。
奥利押注隐私保护,力争在AI助手竞争中胜出
要真正发挥帮助作用,人工智能助手必须深刻理解其用户。Ollie 是一款专为日常生活设计的个人助理,其运作理念是:实现这一点无需用户交出数据,也不会损害用户的隐私。虽然某些企业级人工智能工具提供了数据隐私保护措施,但Ollie作为首批通过SOC 2认证的主流、面向家庭的人工智能服务之一,尤为突出。该认证框架允许企业通过独立审计证明,其已建立正式的控制措施来保护客户数据,并确保系统安全运行。达成这一里
AI LIVE:伦敦将如何探讨人工智能与工业自动化
本次峰会将汇聚来自全球的高管,共同探讨全球各行业面临的紧迫挑战,涵盖从人工智能驱动的颠覆性变革到经济波动等各个方面。AI LIVE:伦敦峰会将以“技术与人类使命”为主题,汇聚2,000余位国际领袖,共同探讨人工智能的新时代。BizClik旗下品牌《AI Magazine》已公布其在“AI LIVE:伦敦峰会”上举办的关于人工智能与工业自动化的联合炉边谈话环节阵容。该专题讨论会定于10月20日在伦敦





首页






