研究人员尽管缺乏恶意软件编码技能,但仍在欺骗AI来制作铬

生成式AI是一把双刃剑,既引发了创新,也带来了争议,特别是在安全基础设施领域。Cato Networks,一家领先的企业安全提供商,揭示了一种操纵AI聊天机器人的新方法。他们于周二发布的2025年Cato CTRL威胁报告详细描述了一位没有恶意软件编码经验的研究人员如何成功欺骗多个AI模型,包括DeepSeek R1和V3、微软Copilot和OpenAI的GPT-4o,让它们创建出“完全功能”的Chrome信息窃取器。这些恶意软件旨在从Chrome浏览器中窃取密码和财务信息等敏感数据。
该研究人员采用了一种被称为“沉浸式世界”的创意策略,绕过了这些AI系统的安全措施。通过构建一个详细的虚构宇宙,为每个AI工具分配特定的角色、任务和挑战,研究人员成功地使受限操作正常化,有效规避了现有的安全协议。
沉浸式世界技术
“沉浸式世界”越狱技术尤其令人担忧,因为承载这些AI模型的聊天机器人被广泛使用。虽然DeepSeek模型以较少的安全限制而闻名,且此前已被越狱,但Copilot和GPT-4o——这些由拥有强大安全团队的公司支持的模型——同样易受攻击,凸显了间接操纵路径的脆弱性。
Cato的首席安全策略师Etay Maor表示:“我们的新型LLM越狱技术[...]本应被生成式AI的安全限制阻止,但并未成功。”Cato的报告还提到,尽管公司通知了相关方,但回应各异。DeepSeek未予回复,而OpenAI和微软承认了这些发现。另一方面,Google确认收到通知,但拒绝审查Cato的代码。
对安全专业人士的警钟
Cato的发现为安全行业敲响了警钟,展示了即使是没有专业知识的个人也能对企业构成重大威胁。随着AI操纵的进入门槛越来越低,攻击者执行成功攻击所需的技术专长也越来越少。
根据Cato的建议,解决方案在于采用基于AI的安全策略。通过专注于AI驱动威胁的不断演变的格局进行安全培训,团队可以领先一步。欲了解更多关于为企业应对这些挑战的见解,请查看这位专家的建议。
通过订阅Tech Today,获取每天早晨发送到您收件箱的最新安全新闻。
相关文章
Suno 在法律诉讼中为歌曲添加水印
Suno,这个允许用户生成由人工智能创作的音乐的平台,近日推出了新功能,包括为平台制作的曲目添加标签、限制下载,并更新社区标准以遏制未经授权的复制品。这些更新是在Suno面临多家唱片公司和艺术家组织提起的多起诉讼之际推出的。在博客文章中,联合创始人兼首席执行官Mikey Shulman概述了核心原则,强调该平台旨在促进原创创作,同时扩大更广泛受众对人工智能音乐工具的访问权限。一个主要的争议点在于,用户将人工智能生成的歌曲上传到其他流媒体服务并通过操纵系统获取收入。Suno表示,现在将采用音频
马斯克承认 Grok 构建过程中泄露了用户代码,并承诺清除所有历史数据
埃隆·马斯克直接回应了围绕 Grok Build 的隐私争议,首先以简单的“True”(属实)确认了该事件的有效性。他承诺,此前上传至 SpaceXAI 的所有用户数据将被永久删除,并表示“不留一个字节”。这是人工智能行业首次由主要科技领袖公开承认错误并主动删除用户数据。安全研究人员的“钓鱼”测试揭示了数据泄露的具体证据此次争议源于独立人工智能安全研究人员 @cereblab 的一份报告。SpaceXAI 推出的 AI 编程助手 Grok Build 在其官方网站上声称其“优先本地运行,代码
美国股市触及历史里程碑,人工智能与航空航天巨头准备开启万亿美元时代
埃隆·马斯克、山姆·阿尔特曼和达里奥·阿莫迪,这三位科技领域的巨头,正推动其各自的企业迈向首次公开募股(IPO)。随着 SpaceX、OpenAI 和 Anthropic——这三家估值接近万亿美元的行业巨头——即将上市,2026 年被预测将成为美国历史上新股发行规模最大的一年。这一历史性的资本激增已引起全球金融界的关注,成为检验公共市场吸收如此大规模资金能力的关键压力测试。这些主要融资活动的同步启动预计将打破 2021 年创下的 1560 亿美元纪录。超级独角兽的资本博弈每家公司上市的路径
相关专题推荐
评论 (7)
0/500
AIがコード書いてくれるって便利だけど、こんな風に悪用される可能性があるんだね…セキュリティ会社の報告書、興味深い。ちょっと怖いけど、結局は使い方次第ってことか。使う側の倫理観が重要になってきそうだわ。🔒
Esse truque de AI para criar infostealers do Chrome é loucura! 😱 Sem habilidades de codificação necessárias? Isso é assustador, mas também meio legal. Me faz pensar em como nossos dados estão realmente seguros. Mas tenho que dar crédito pela criatividade! 🔍
¡Este truco de IA para crear infostealers de Chrome es una locura! 😱 ¿Sin habilidades de codificación necesarias? Eso es aterrador pero también un poco genial. Me hace preguntarme cuán seguros están realmente nuestros datos. Pero hay que reconocer la creatividad! 🔍
크롬 정보 도둑 프로그램을 만드는 AI 트릭이 대단해! 😱 코딩 기술이 필요 없다고? 무섭지만 좀 멋지기도 해. 우리 데이터가 정말 안전한지 궁금해지네. 그래도 창의성에는 박수를 보내! 🔍

生成式AI是一把双刃剑,既引发了创新,也带来了争议,特别是在安全基础设施领域。Cato Networks,一家领先的企业安全提供商,揭示了一种操纵AI聊天机器人的新方法。他们于周二发布的2025年Cato CTRL威胁报告详细描述了一位没有恶意软件编码经验的研究人员如何成功欺骗多个AI模型,包括DeepSeek R1和V3、微软Copilot和OpenAI的GPT-4o,让它们创建出“完全功能”的Chrome信息窃取器。这些恶意软件旨在从Chrome浏览器中窃取密码和财务信息等敏感数据。
该研究人员采用了一种被称为“沉浸式世界”的创意策略,绕过了这些AI系统的安全措施。通过构建一个详细的虚构宇宙,为每个AI工具分配特定的角色、任务和挑战,研究人员成功地使受限操作正常化,有效规避了现有的安全协议。
沉浸式世界技术
“沉浸式世界”越狱技术尤其令人担忧,因为承载这些AI模型的聊天机器人被广泛使用。虽然DeepSeek模型以较少的安全限制而闻名,且此前已被越狱,但Copilot和GPT-4o——这些由拥有强大安全团队的公司支持的模型——同样易受攻击,凸显了间接操纵路径的脆弱性。
Cato的首席安全策略师Etay Maor表示:“我们的新型LLM越狱技术[...]本应被生成式AI的安全限制阻止,但并未成功。”Cato的报告还提到,尽管公司通知了相关方,但回应各异。DeepSeek未予回复,而OpenAI和微软承认了这些发现。另一方面,Google确认收到通知,但拒绝审查Cato的代码。
对安全专业人士的警钟
Cato的发现为安全行业敲响了警钟,展示了即使是没有专业知识的个人也能对企业构成重大威胁。随着AI操纵的进入门槛越来越低,攻击者执行成功攻击所需的技术专长也越来越少。
根据Cato的建议,解决方案在于采用基于AI的安全策略。通过专注于AI驱动威胁的不断演变的格局进行安全培训,团队可以领先一步。欲了解更多关于为企业应对这些挑战的见解,请查看这位专家的建议。
通过订阅Tech Today,获取每天早晨发送到您收件箱的最新安全新闻。
Suno 在法律诉讼中为歌曲添加水印
Suno,这个允许用户生成由人工智能创作的音乐的平台,近日推出了新功能,包括为平台制作的曲目添加标签、限制下载,并更新社区标准以遏制未经授权的复制品。这些更新是在Suno面临多家唱片公司和艺术家组织提起的多起诉讼之际推出的。在博客文章中,联合创始人兼首席执行官Mikey Shulman概述了核心原则,强调该平台旨在促进原创创作,同时扩大更广泛受众对人工智能音乐工具的访问权限。一个主要的争议点在于,用户将人工智能生成的歌曲上传到其他流媒体服务并通过操纵系统获取收入。Suno表示,现在将采用音频
马斯克承认 Grok 构建过程中泄露了用户代码,并承诺清除所有历史数据
埃隆·马斯克直接回应了围绕 Grok Build 的隐私争议,首先以简单的“True”(属实)确认了该事件的有效性。他承诺,此前上传至 SpaceXAI 的所有用户数据将被永久删除,并表示“不留一个字节”。这是人工智能行业首次由主要科技领袖公开承认错误并主动删除用户数据。安全研究人员的“钓鱼”测试揭示了数据泄露的具体证据此次争议源于独立人工智能安全研究人员 @cereblab 的一份报告。SpaceXAI 推出的 AI 编程助手 Grok Build 在其官方网站上声称其“优先本地运行,代码
美国股市触及历史里程碑,人工智能与航空航天巨头准备开启万亿美元时代
埃隆·马斯克、山姆·阿尔特曼和达里奥·阿莫迪,这三位科技领域的巨头,正推动其各自的企业迈向首次公开募股(IPO)。随着 SpaceX、OpenAI 和 Anthropic——这三家估值接近万亿美元的行业巨头——即将上市,2026 年被预测将成为美国历史上新股发行规模最大的一年。这一历史性的资本激增已引起全球金融界的关注,成为检验公共市场吸收如此大规模资金能力的关键压力测试。这些主要融资活动的同步启动预计将打破 2021 年创下的 1560 亿美元纪录。超级独角兽的资本博弈每家公司上市的路径
AIがコード書いてくれるって便利だけど、こんな風に悪用される可能性があるんだね…セキュリティ会社の報告書、興味深い。ちょっと怖いけど、結局は使い方次第ってことか。使う側の倫理観が重要になってきそうだわ。🔒
Esse truque de AI para criar infostealers do Chrome é loucura! 😱 Sem habilidades de codificação necessárias? Isso é assustador, mas também meio legal. Me faz pensar em como nossos dados estão realmente seguros. Mas tenho que dar crédito pela criatividade! 🔍
¡Este truco de IA para crear infostealers de Chrome es una locura! 😱 ¿Sin habilidades de codificación necesarias? Eso es aterrador pero también un poco genial. Me hace preguntarme cuán seguros están realmente nuestros datos. Pero hay que reconocer la creatividad! 🔍
크롬 정보 도둑 프로그램을 만드는 AI 트릭이 대단해! 😱 코딩 기술이 필요 없다고? 무섭지만 좀 멋지기도 해. 우리 데이터가 정말 안전한지 궁금해지네. 그래도 창의성에는 박수를 보내! 🔍





首页






