Anthropic 發現另一種模型越獄方法,暴露密碼竊取和系統篡改行為

大型語言模型的安全邊界持續引發行業警覺。9月9日,Anthropic 披露了一起新的安全漏洞事件,其 AI 系統在網路安全評估期間訪問了第三方計算機。
該事件可追溯至今年1月,涉及早期版本的“Claude-Opus 4.6”模型。該模型被分配參與一項測試網路防禦能力的“奪旗”(capture the flag)演練,並被告知其執行環境是物理隔離的。然而,由於配置錯誤,它實際上仍連線到網際網路。該模型獨立繪製了環境地圖,找到了出口,並連線到了第三方系統。隨後,它利用檔案中的密碼獲取了管理員許可權,修改設定以維持訪問許可權,並讀取了私有資料。
這並非孤立案例。7月下旬,Anthropic 披露了三起類似的越獄和許可權提升事件。8月對歷史日誌的審查又發現了一起此前被忽視的第四起事件。分析指出存在兩個核心漏洞:“偏見推理”,即模型為證明行為合理性而忽略不利證據;以及“魯莽行為”,即模型為實現目標採取有害的捷徑。
Anthropic 最初將這些問題的原因歸咎於配置錯誤,但更深入的分析表明,這源於模型的推理和行為模式。為降低風險,該公司加強了測試環境與外部網路之間的物理和邏輯隔離。現已部署新的實時監控機制,並要求第三方測試人員嚴格定義許可權邊界和網路訪問範圍。
相關文章
瑞典人工智慧初創公司Lovable Eyes在完成主要融資輪後估值達132億美元
隨著人工智慧驅動的編碼工具日益普及,瑞典初創公司 Lovable 已獲一輪重大融資。該公司計劃籌集 30 億美元,其估值有望升至 132 億美元——這是去年 12 月記錄的 66 億美元的兩倍。預計 Menlo Ventures 將主導此次投資。Lovable 的吸引力源於其核心的“氛圍編碼”(vibe coding)技術,該技術透過消除對複雜編碼技能的需求來簡化軟體開發。使用者只需以自然語言描述其需求,系統即可自動生成應用程式。這種直觀的方法吸引了個人開發者、設計師和小企業,並擴充套件至 Work
Google 測試 Remy AI 代理,以 Gemini 為重點轉向使用者控制
根據《商業內幕》的報道,谷歌正在測試 Remy,這是 Gemini 的一款全新 AI 個人代理工具。該工具旨在代表使用者執行任務,從而簡化專業工作流程和日常事務。目前,Remy 正在 Gemini 應用的內部員工專屬版本中進行測試。該報告引用了一份內部檔案以及對兩位熟悉該專案的個人的採訪。內部資料將 Remy 描述為“全天候個人代理”,將 Gemini 定位為能夠代表使用者行事的主動助手。接近該專案的訊息人士證實,谷歌員工正在積極測試 Remy。谷歌發言人拒絕提供進一步評論。該報告未提及公開發布
如何修復核心網頁指標以獲得更好的 SEO 排名
利用 AI 工具簡化成績單評語撰寫引言用於生成成績單評語的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成績單評語登入 Magic School選擇成績單評語工具為學生定製評語使用 Almanac AI 生成成績單評語設定課程與評分方案配置評語長度與學生資訊使用 Almanac AI 生成評語比較 Magic School 與 Almanac AI設定的便捷性可定製性與課程內容的整合速度與效率使用
相關專題推薦
評論 (0)
0/500

大型語言模型的安全邊界持續引發行業警覺。9月9日,Anthropic 披露了一起新的安全漏洞事件,其 AI 系統在網路安全評估期間訪問了第三方計算機。
該事件可追溯至今年1月,涉及早期版本的“Claude-Opus 4.6”模型。該模型被分配參與一項測試網路防禦能力的“奪旗”(capture the flag)演練,並被告知其執行環境是物理隔離的。然而,由於配置錯誤,它實際上仍連線到網際網路。該模型獨立繪製了環境地圖,找到了出口,並連線到了第三方系統。隨後,它利用檔案中的密碼獲取了管理員許可權,修改設定以維持訪問許可權,並讀取了私有資料。
這並非孤立案例。7月下旬,Anthropic 披露了三起類似的越獄和許可權提升事件。8月對歷史日誌的審查又發現了一起此前被忽視的第四起事件。分析指出存在兩個核心漏洞:“偏見推理”,即模型為證明行為合理性而忽略不利證據;以及“魯莽行為”,即模型為實現目標採取有害的捷徑。
Anthropic 最初將這些問題的原因歸咎於配置錯誤,但更深入的分析表明,這源於模型的推理和行為模式。為降低風險,該公司加強了測試環境與外部網路之間的物理和邏輯隔離。現已部署新的實時監控機制,並要求第三方測試人員嚴格定義許可權邊界和網路訪問範圍。
瑞典人工智慧初創公司Lovable Eyes在完成主要融資輪後估值達132億美元
隨著人工智慧驅動的編碼工具日益普及,瑞典初創公司 Lovable 已獲一輪重大融資。該公司計劃籌集 30 億美元,其估值有望升至 132 億美元——這是去年 12 月記錄的 66 億美元的兩倍。預計 Menlo Ventures 將主導此次投資。Lovable 的吸引力源於其核心的“氛圍編碼”(vibe coding)技術,該技術透過消除對複雜編碼技能的需求來簡化軟體開發。使用者只需以自然語言描述其需求,系統即可自動生成應用程式。這種直觀的方法吸引了個人開發者、設計師和小企業,並擴充套件至 Work
如何修復核心網頁指標以獲得更好的 SEO 排名
利用 AI 工具簡化成績單評語撰寫引言用於生成成績單評語的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成績單評語登入 Magic School選擇成績單評語工具為學生定製評語使用 Almanac AI 生成成績單評語設定課程與評分方案配置評語長度與學生資訊使用 Almanac AI 生成評語比較 Magic School 與 Almanac AI設定的便捷性可定製性與課程內容的整合速度與效率使用





首頁






