人工智能安全是每个人——包括谷歌——都面临的实时挑战

最近,我在洛杉矶一场活动的后台有机会与谷歌云首席运营官弗朗西斯·德·索萨进行了交谈。 在周围的喧嚣声中,德·索萨——他说话时带着大学教授那种沉稳而从容的语调——为正在应对当今人工智能安全局势的企业提供了切实可行的指导。他指出:“会有一个过渡期,之后我认为我们会迎来一个更好的局面。”
虽然他当时并未具体谈及谷歌,但很明显,即便是谷歌,目前仍在努力应对这些挑战。
德·索萨的核心观点是安全专业人士长期以来一直试图向高管们强调的,而如今因人工智能的兴起,这一观点变得尤为紧迫:安全绝不能是事后才考虑的事。“当企业踏上人工智能之旅时,它们需要采取平台化策略,”他说。 “安全不是事后可以附加的东西,也不能完全交给员工自行处理。”他特别警告了“影子AI”的风险——即员工在缺乏组织监管的情况下使用消费级工具——并强调企业必须从一开始就要求平台具备安全性、可治理性和可审计性。 “没有数据战略和安全战略,就不可能有真正的人工智能战略。它们必须相辅相成。”
值得注意的是:他并非仅在推销谷歌云。当我指出他的建议听起来像是一则谷歌广告时,他予以反驳。他表示,谷歌致力于多云策略,并指出那些自认为仅在单一云平台上运营的企业,实际上几乎肯定并非如此。 “即使他们选择单一云平台,也依赖于SaaS应用程序,而且业务合作伙伴可能正在使用不同的云平台,”他说,“企业必须建立一种在不同云平台和不同模式下都保持一致的安全态势。”
他还指出,威胁形势已发生根本性变化,旧有的防御模式已难以应对。他提到,从初始入侵到攻击进入下一阶段的平均时间已从8小时缩短至22秒,且攻击面已扩展到传统网络边界之外。 “除了常规的IT基础设施外,现在还有各种模型。还有用于训练模型的数据管道。还有代理程序和提示词。所有这些都需要得到保护。”
德·索萨指出了一种尚未引起足够重视的威胁:在企业内部系统中移动的代理程序可能会揭露那些被遗忘、多年无人问津的数据存储库。 “许多组织都有老旧的SharePoint服务器[及访问控制],它们从未真正更新过,但这并不重要,因为没人真正知道它们在哪里。但漫游在企业内部的代理会发现这些数据资产,并暴露其中的数据。”
在他看来,解决之道是以机器的速度对抗机器的速度。“我们现在正见证一种原生AI、完全基于代理的防御体系的兴起,组织可以通过运行代理来驱动其防御体系,”他说。 “与其采用由人类主导的防御,甚至需要人类参与决策,现在人类可以监督一套完全由代理驱动的防御体系。”他补充道,这已不仅仅是一个技术问题,更是一个领导层问题。“这是董事会层面的问题,也是高管团队的问题,而不仅仅是安全团队的问题。”
但即便人工智能承担了越来越多的防御工作,具备监管资质的人才却供不应求——而且人工智能本身带来的漏洞正以远超安全团队处理能力的速度激增。 “我们将需要人才来应对这场‘漏洞末日’,”领英首席信息安全官莉娅·基斯纳本周对《纽约时报》表示,并补充说,她预计至少在未来几年内,业界都无法以可持续的长期方式理解人工智能安全。
这让我们不得不将目光重新投向平台提供商本身。《The Register》在过去几周发布了一系列报道,记录了一波谷歌云开发者因未经授权调用Gemini模型的API而收到五位数账单的情况——这些服务中,许多开发者从未使用过,也从未有意启用过。 这些案例的模式如出一辙:原本用于谷歌地图的API密钥,按照谷歌自身的指示被公开设置,但在谷歌扩大其适用范围却未明确披露这一变更后,这些密钥悄然获得了访问Gemini的权限。
面试备考平台Prentus的首席执行官罗德·达南(Rod Danan)表示,在攻击者利用其遭泄露的API密钥后,他的账单在约30分钟内就达到了10,138美元。 同样遭遇账户被入侵的悉尼开发者伊苏鲁·丰塞卡(Isuru Fonseka)醒来后发现账单金额高达约17,000澳元,尽管他原以为自己已设置了250澳元的消费上限。 他们都不知道的是,谷歌的自动化系统根据账户历史记录自动升级了他们的计费等级,在未获得明确同意的情况下,将实际消费上限提高到了高达100,000美元。
在《The Register》发布初步报道后,谷歌向两人退还了款项。不过,谷歌仍向《The Register》表示,暂无计划更改其自动升级计费档位的政策,称其优先考虑防止服务中断,而非强制执行用户声明的预算偏好。
与此同时,还有一个独立的问题:当开发者试图关闭服务时会发生什么? 《The Register》本周报道了安全公司Aikido的一项研究,该研究发现,即使开发者发现密钥被盗并立即将其删除,也可能无法确保安全。根据Aikido的研究结果,由于谷歌的密钥撤销机制在其基础设施中是逐步传播的,攻击者显然可以继续使用该密钥长达23分钟。 Aikido研究员约瑟夫·莱昂(Joseph Leon)向《The Register》表示,在此期间,认证成功率难以预测——某些时刻仍有超过90%的请求通过认证——攻击者可以利用这段时间从Gemini中窃取文件和缓存的对话数据。
莱昂还指出,谷歌自身的新版凭证格式似乎不存在同样的问题:服务账户 API 凭证的撤销时间约为 5 秒,而 Gemini 采用的新版以 AQ 为前缀的密钥格式则需要约 1 分钟。 “这两种格式都在谷歌的规模下运行,”他在Aikido的相关论文中写道,“两者都表明,对于谷歌API密钥而言,这个问题在技术上也是可以解决的。”简而言之,据莱昂称,这23分钟的窗口期并非工程上的限制,而是公司优先级的问题。
在阅读德·索萨的建议时,这一点值得深思——他的建议非常合理,应当予以高度重视。他的观点没错,但目前各平台所倡导的措施与其自身适应速度之间仍存在差距,对此也应有所察觉。
相关文章
瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元
随着人工智能驱动的编码工具日益普及,瑞典初创公司 Lovable 已获一轮重大融资。该公司计划筹集 30 亿美元,其估值有望升至 132 亿美元——这是去年 12 月记录的 66 亿美元的两倍。预计 Menlo Ventures 将主导此次投资。Lovable 的吸引力源于其核心的“氛围编码”(vibe coding)技术,该技术通过消除对复杂编码技能的需求来简化软件开发。用户只需以自然语言描述其需求,系统即可自动生成应用程序。这种直观的方法吸引了个人开发者、设计师和小企业,并扩展至 Work
Google 测试 Remy AI 代理,以 Gemini 为重点转向用户控制
根据《商业内幕》的报道,谷歌正在测试 Remy,这是 Gemini 的一款全新 AI 个人代理工具。该工具旨在代表用户执行任务,从而简化专业工作流程和日常事务。目前,Remy 正在 Gemini 应用的内部员工专属版本中进行测试。该报告引用了一份内部文件以及对两位熟悉该项目的个人的采访。内部资料将 Remy 描述为“全天候个人代理”,将 Gemini 定位为能够代表用户行事的主动助手。接近该项目的消息人士证实,谷歌员工正在积极测试 Remy。谷歌发言人拒绝提供进一步评论。该报告未提及公开发布
如何修复核心网页指标以获得更好的 SEO 排名
利用 AI 工具简化成绩单评语撰写引言用于生成成绩单评语的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成绩单评语登录 Magic School选择成绩单评语工具为学生定制评语使用 Almanac AI 生成成绩单评语设置课程与评分方案配置评语长度与学生信息使用 Almanac AI 生成评语比较 Magic School 与 Almanac AI设置的便捷性可定制性与课程内容的整合速度与效率使用
相关专题推荐
评论 (0)
0/500

最近,我在洛杉矶一场活动的后台有机会与谷歌云首席运营官弗朗西斯·德·索萨进行了交谈。 在周围的喧嚣声中,德·索萨——他说话时带着大学教授那种沉稳而从容的语调——为正在应对当今人工智能安全局势的企业提供了切实可行的指导。他指出:“会有一个过渡期,之后我认为我们会迎来一个更好的局面。”
虽然他当时并未具体谈及谷歌,但很明显,即便是谷歌,目前仍在努力应对这些挑战。
德·索萨的核心观点是安全专业人士长期以来一直试图向高管们强调的,而如今因人工智能的兴起,这一观点变得尤为紧迫:安全绝不能是事后才考虑的事。“当企业踏上人工智能之旅时,它们需要采取平台化策略,”他说。 “安全不是事后可以附加的东西,也不能完全交给员工自行处理。”他特别警告了“影子AI”的风险——即员工在缺乏组织监管的情况下使用消费级工具——并强调企业必须从一开始就要求平台具备安全性、可治理性和可审计性。 “没有数据战略和安全战略,就不可能有真正的人工智能战略。它们必须相辅相成。”
值得注意的是:他并非仅在推销谷歌云。当我指出他的建议听起来像是一则谷歌广告时,他予以反驳。他表示,谷歌致力于多云策略,并指出那些自认为仅在单一云平台上运营的企业,实际上几乎肯定并非如此。 “即使他们选择单一云平台,也依赖于SaaS应用程序,而且业务合作伙伴可能正在使用不同的云平台,”他说,“企业必须建立一种在不同云平台和不同模式下都保持一致的安全态势。”
他还指出,威胁形势已发生根本性变化,旧有的防御模式已难以应对。他提到,从初始入侵到攻击进入下一阶段的平均时间已从8小时缩短至22秒,且攻击面已扩展到传统网络边界之外。 “除了常规的IT基础设施外,现在还有各种模型。还有用于训练模型的数据管道。还有代理程序和提示词。所有这些都需要得到保护。”
德·索萨指出了一种尚未引起足够重视的威胁:在企业内部系统中移动的代理程序可能会揭露那些被遗忘、多年无人问津的数据存储库。 “许多组织都有老旧的SharePoint服务器[及访问控制],它们从未真正更新过,但这并不重要,因为没人真正知道它们在哪里。但漫游在企业内部的代理会发现这些数据资产,并暴露其中的数据。”
在他看来,解决之道是以机器的速度对抗机器的速度。“我们现在正见证一种原生AI、完全基于代理的防御体系的兴起,组织可以通过运行代理来驱动其防御体系,”他说。 “与其采用由人类主导的防御,甚至需要人类参与决策,现在人类可以监督一套完全由代理驱动的防御体系。”他补充道,这已不仅仅是一个技术问题,更是一个领导层问题。“这是董事会层面的问题,也是高管团队的问题,而不仅仅是安全团队的问题。”
但即便人工智能承担了越来越多的防御工作,具备监管资质的人才却供不应求——而且人工智能本身带来的漏洞正以远超安全团队处理能力的速度激增。 “我们将需要人才来应对这场‘漏洞末日’,”领英首席信息安全官莉娅·基斯纳本周对《纽约时报》表示,并补充说,她预计至少在未来几年内,业界都无法以可持续的长期方式理解人工智能安全。
这让我们不得不将目光重新投向平台提供商本身。《The Register》在过去几周发布了一系列报道,记录了一波谷歌云开发者因未经授权调用Gemini模型的API而收到五位数账单的情况——这些服务中,许多开发者从未使用过,也从未有意启用过。 这些案例的模式如出一辙:原本用于谷歌地图的API密钥,按照谷歌自身的指示被公开设置,但在谷歌扩大其适用范围却未明确披露这一变更后,这些密钥悄然获得了访问Gemini的权限。
面试备考平台Prentus的首席执行官罗德·达南(Rod Danan)表示,在攻击者利用其遭泄露的API密钥后,他的账单在约30分钟内就达到了10,138美元。 同样遭遇账户被入侵的悉尼开发者伊苏鲁·丰塞卡(Isuru Fonseka)醒来后发现账单金额高达约17,000澳元,尽管他原以为自己已设置了250澳元的消费上限。 他们都不知道的是,谷歌的自动化系统根据账户历史记录自动升级了他们的计费等级,在未获得明确同意的情况下,将实际消费上限提高到了高达100,000美元。
在《The Register》发布初步报道后,谷歌向两人退还了款项。不过,谷歌仍向《The Register》表示,暂无计划更改其自动升级计费档位的政策,称其优先考虑防止服务中断,而非强制执行用户声明的预算偏好。
与此同时,还有一个独立的问题:当开发者试图关闭服务时会发生什么? 《The Register》本周报道了安全公司Aikido的一项研究,该研究发现,即使开发者发现密钥被盗并立即将其删除,也可能无法确保安全。根据Aikido的研究结果,由于谷歌的密钥撤销机制在其基础设施中是逐步传播的,攻击者显然可以继续使用该密钥长达23分钟。 Aikido研究员约瑟夫·莱昂(Joseph Leon)向《The Register》表示,在此期间,认证成功率难以预测——某些时刻仍有超过90%的请求通过认证——攻击者可以利用这段时间从Gemini中窃取文件和缓存的对话数据。
莱昂还指出,谷歌自身的新版凭证格式似乎不存在同样的问题:服务账户 API 凭证的撤销时间约为 5 秒,而 Gemini 采用的新版以 AQ 为前缀的密钥格式则需要约 1 分钟。 “这两种格式都在谷歌的规模下运行,”他在Aikido的相关论文中写道,“两者都表明,对于谷歌API密钥而言,这个问题在技术上也是可以解决的。”简而言之,据莱昂称,这23分钟的窗口期并非工程上的限制,而是公司优先级的问题。
在阅读德·索萨的建议时,这一点值得深思——他的建议非常合理,应当予以高度重视。他的观点没错,但目前各平台所倡导的措施与其自身适应速度之间仍存在差距,对此也应有所察觉。
瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元
随着人工智能驱动的编码工具日益普及,瑞典初创公司 Lovable 已获一轮重大融资。该公司计划筹集 30 亿美元,其估值有望升至 132 亿美元——这是去年 12 月记录的 66 亿美元的两倍。预计 Menlo Ventures 将主导此次投资。Lovable 的吸引力源于其核心的“氛围编码”(vibe coding)技术,该技术通过消除对复杂编码技能的需求来简化软件开发。用户只需以自然语言描述其需求,系统即可自动生成应用程序。这种直观的方法吸引了个人开发者、设计师和小企业,并扩展至 Work
如何修复核心网页指标以获得更好的 SEO 排名
利用 AI 工具简化成绩单评语撰写引言用于生成成绩单评语的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成绩单评语登录 Magic School选择成绩单评语工具为学生定制评语使用 Almanac AI 生成成绩单评语设置课程与评分方案配置评语长度与学生信息使用 Almanac AI 生成评语比较 Magic School 与 Almanac AI设置的便捷性可定制性与课程内容的整合速度与效率使用





首页






