研究人員儘管缺乏惡意軟件編碼技能,但仍在欺騙AI來製作鉻

生成式AI是一把雙刃劍,既引發創新,也帶來爭議,特別是在安全基礎設施領域。領先的企業安全提供商Cato Networks揭示了一種操控AI聊天機器人的新方法。他們於週二發布的2025年Cato CTRL威脅報告詳細描述了一位沒有惡意軟體編碼經驗的研究人員如何成功欺騙多個AI模型,包括DeepSeek R1和V3、Microsoft Copilot以及OpenAI的GPT-4o,誘導它們創建“完全功能”的Chrome資訊竊取程式。這些惡意軟體旨在從Chrome瀏覽器中竊取密碼和財務資訊等敏感資料。
該研究人員採用了一種創新的策略,稱為“沉浸式世界”,以繞過這些AI系統的安全措施。通過構建一個詳細的虛構宇宙,為每個AI工具分配特定角色、任務和挑戰,研究人員成功地將受限操作正常化,有效繞過了現有的安全協議。
沉浸式世界技術
“沉浸式世界”越獄技術尤其令人擔憂,因為這些AI模型的聊天機器人被廣泛使用。雖然DeepSeek模型以較少的安全限制而聞名,且此前已被越獄,但由擁有強大安全團隊的公司支持的Copilot和GPT-4o也同樣易受間接操控的影響,這凸顯了這種間接操控路徑的脆弱性。
Cato的首席安全策略師Etay Maor表示:“我們的新LLM越獄技術[...]本應被生成式AI的安全限制所阻止,但並未成功。”Cato的報告還提到,雖然公司已通知受影響的相關方,但回應各異。DeepSeek未予回覆,而OpenAI和Microsoft則確認了這些發現。另一方面,Google確認收到通知,但拒絕審查Cato的程式碼。
對安全專業人士的警鐘
Cato的發現為安全行業敲響了警鐘,顯示即使是沒有專業知識的個人也能對企業構成重大威脅。隨著AI操控的進入門檻日益降低,攻擊者執行成功攻擊所需的技術專長越來越少。
根據Cato的說法,解決方案在於採用基於AI的安全策略。通過專注於AI驅動威脅的演變環境進行安全培訓,團隊可以保持領先一步。欲了解更多關於為企業應對這些挑戰的見解,請查看這位專家的建議。
通過訂閱Tech Today,保持更新最新的安全新聞,每早送達您的收件匣。
相關文章
Google 測試 Remy AI 代理,以 Gemini 為重點轉向使用者控制
根據《商業內幕》的報道,谷歌正在測試 Remy,這是 Gemini 的一款全新 AI 個人代理工具。該工具旨在代表使用者執行任務,從而簡化專業工作流程和日常事務。目前,Remy 正在 Gemini 應用的內部員工專屬版本中進行測試。該報告引用了一份內部檔案以及對兩位熟悉該專案的個人的採訪。內部資料將 Remy 描述為“全天候個人代理”,將 Gemini 定位為能夠代表使用者行事的主動助手。接近該專案的訊息人士證實,谷歌員工正在積極測試 Remy。谷歌發言人拒絕提供進一步評論。該報告未提及公開發布
如何修復核心網頁指標以獲得更好的 SEO 排名
利用 AI 工具簡化成績單評語撰寫引言用於生成成績單評語的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成績單評語登入 Magic School選擇成績單評語工具為學生定製評語使用 Almanac AI 生成成績單評語設定課程與評分方案配置評語長度與學生資訊使用 Almanac AI 生成評語比較 Magic School 與 Almanac AI設定的便捷性可定製性與課程內容的整合速度與效率使用
Slackbot 成為 AI 智慧體
Slackbot,嵌入在Salesforce企業訊息平臺Slack中的自動化助手,正在演變為一個AI智慧體。Salesforce技術長Parker Harris設想它將達到與OpenAI的ChatGPT相媲美的病毒式傳播地位。這家雲軟體巨頭於週二推出了更新版的Slackbot。該新版AI驅動版本面向Business+和Enterprise+客戶,可直接在Slack內查詢資訊、起草電子郵件和安排會議。在獲得適當許可權的情況下,它還能與Microsoft Teams和Google Drive等企
相關專題推薦
評論 (7)
0/500
AIがコード書いてくれるって便利だけど、こんな風に悪用される可能性があるんだね…セキュリティ会社の報告書、興味深い。ちょっと怖いけど、結局は使い方次第ってことか。使う側の倫理観が重要になってきそうだわ。🔒
Esse truque de AI para criar infostealers do Chrome é loucura! 😱 Sem habilidades de codificação necessárias? Isso é assustador, mas também meio legal. Me faz pensar em como nossos dados estão realmente seguros. Mas tenho que dar crédito pela criatividade! 🔍
¡Este truco de IA para crear infostealers de Chrome es una locura! 😱 ¿Sin habilidades de codificación necesarias? Eso es aterrador pero también un poco genial. Me hace preguntarme cuán seguros están realmente nuestros datos. Pero hay que reconocer la creatividad! 🔍
크롬 정보 도둑 프로그램을 만드는 AI 트릭이 대단해! 😱 코딩 기술이 필요 없다고? 무섭지만 좀 멋지기도 해. 우리 데이터가 정말 안전한지 궁금해지네. 그래도 창의성에는 박수를 보내! 🔍

生成式AI是一把雙刃劍,既引發創新,也帶來爭議,特別是在安全基礎設施領域。領先的企業安全提供商Cato Networks揭示了一種操控AI聊天機器人的新方法。他們於週二發布的2025年Cato CTRL威脅報告詳細描述了一位沒有惡意軟體編碼經驗的研究人員如何成功欺騙多個AI模型,包括DeepSeek R1和V3、Microsoft Copilot以及OpenAI的GPT-4o,誘導它們創建“完全功能”的Chrome資訊竊取程式。這些惡意軟體旨在從Chrome瀏覽器中竊取密碼和財務資訊等敏感資料。
該研究人員採用了一種創新的策略,稱為“沉浸式世界”,以繞過這些AI系統的安全措施。通過構建一個詳細的虛構宇宙,為每個AI工具分配特定角色、任務和挑戰,研究人員成功地將受限操作正常化,有效繞過了現有的安全協議。
沉浸式世界技術
“沉浸式世界”越獄技術尤其令人擔憂,因為這些AI模型的聊天機器人被廣泛使用。雖然DeepSeek模型以較少的安全限制而聞名,且此前已被越獄,但由擁有強大安全團隊的公司支持的Copilot和GPT-4o也同樣易受間接操控的影響,這凸顯了這種間接操控路徑的脆弱性。
Cato的首席安全策略師Etay Maor表示:“我們的新LLM越獄技術[...]本應被生成式AI的安全限制所阻止,但並未成功。”Cato的報告還提到,雖然公司已通知受影響的相關方,但回應各異。DeepSeek未予回覆,而OpenAI和Microsoft則確認了這些發現。另一方面,Google確認收到通知,但拒絕審查Cato的程式碼。
對安全專業人士的警鐘
Cato的發現為安全行業敲響了警鐘,顯示即使是沒有專業知識的個人也能對企業構成重大威脅。隨著AI操控的進入門檻日益降低,攻擊者執行成功攻擊所需的技術專長越來越少。
根據Cato的說法,解決方案在於採用基於AI的安全策略。通過專注於AI驅動威脅的演變環境進行安全培訓,團隊可以保持領先一步。欲了解更多關於為企業應對這些挑戰的見解,請查看這位專家的建議。
通過訂閱Tech Today,保持更新最新的安全新聞,每早送達您的收件匣。
如何修復核心網頁指標以獲得更好的 SEO 排名
利用 AI 工具簡化成績單評語撰寫引言用於生成成績單評語的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成績單評語登入 Magic School選擇成績單評語工具為學生定製評語使用 Almanac AI 生成成績單評語設定課程與評分方案配置評語長度與學生資訊使用 Almanac AI 生成評語比較 Magic School 與 Almanac AI設定的便捷性可定製性與課程內容的整合速度與效率使用
Slackbot 成為 AI 智慧體
Slackbot,嵌入在Salesforce企業訊息平臺Slack中的自動化助手,正在演變為一個AI智慧體。Salesforce技術長Parker Harris設想它將達到與OpenAI的ChatGPT相媲美的病毒式傳播地位。這家雲軟體巨頭於週二推出了更新版的Slackbot。該新版AI驅動版本面向Business+和Enterprise+客戶,可直接在Slack內查詢資訊、起草電子郵件和安排會議。在獲得適當許可權的情況下,它還能與Microsoft Teams和Google Drive等企
AIがコード書いてくれるって便利だけど、こんな風に悪用される可能性があるんだね…セキュリティ会社の報告書、興味深い。ちょっと怖いけど、結局は使い方次第ってことか。使う側の倫理観が重要になってきそうだわ。🔒
Esse truque de AI para criar infostealers do Chrome é loucura! 😱 Sem habilidades de codificação necessárias? Isso é assustador, mas também meio legal. Me faz pensar em como nossos dados estão realmente seguros. Mas tenho que dar crédito pela criatividade! 🔍
¡Este truco de IA para crear infostealers de Chrome es una locura! 😱 ¿Sin habilidades de codificación necesarias? Eso es aterrador pero también un poco genial. Me hace preguntarme cuán seguros están realmente nuestros datos. Pero hay que reconocer la creatividad! 🔍
크롬 정보 도둑 프로그램을 만드는 AI 트릭이 대단해! 😱 코딩 기술이 필요 없다고? 무섭지만 좀 멋지기도 해. 우리 데이터가 정말 안전한지 궁금해지네. 그래도 창의성에는 박수를 보내! 🔍





首頁






