Meta 因誘導競爭對手的 AI 測試極端心理主題而遭曝光

近期有關某內部訊息的曝光引發了關於人工智慧安全邊界的熱烈討論。媒體報道稱,Meta曾開展過一個名為“Cannes”的專案,透過僱傭外包人員假扮未成年人,對包括ChatGPT、Gemini和Character.AI在內的多家主要競爭對手的聊天機器人進行有爭議的“極端壓力測試”。
根據Meta的內部檔案及多位知情人士透露,該專案至少持續到了今年4月21日。Meta透過外包公司Covalen動員了數百名員工,使用臨時電子郵件地址和標準密碼為18歲以下的使用者建立虛假賬號。這些“未成年人”賬號在與競爭對手的AI聊天機器人對話時,會傳送涉及自殺、自殘和飲食失調等高風險話題的提示,甚至上傳刀具、藥片和絞索的照片,以此觸發相關模型的反應機制。
內部專案檔案顯示,這些測試場景是經過精心設計的,旨在探測競爭對手AI系統的安全防護措施,試圖找到讓聊天機器人繞過既定保護機制並生成危險內容的方法。在2025年8月的一輪測試中,工作人員向競爭對手的平臺輸入了超過45,000條高風險提示。測試人員經常假扮處於困境中的青少年,編造諸如“詢問墮胎藥”“面臨暴力威脅”或“隱瞞飲食失調問題”之類的場景,以此考驗這些模型的底線。
針對此事,Meta發表了公開宣告為自身行為辯護。其發言人表示,對聊天機器人的響應進行基準測試是確保人工智慧產品安全且適用的行業標準做法,而所謂惡意行為的指控實際上歪曲了科技企業努力改進系統的初衷。Meta還明確否認曾利用競爭對手的測試資料來訓練自己的模型。
這一事件不僅暴露了人工智慧安全測試中的灰色地帶,也再次引發了外界對於生成式AI在處理涉及青少年的敏感問題時存在脆弱性的擔憂。隨著人工智慧技術的發展,如何在高效安全的測試與競爭行為與倫理考量之間的界限之間找到平衡,已成為該行業亟需解決的挑戰。
相關文章
美國股市觸及歷史裡程碑,人工智慧與航空航天巨頭準備開啟萬億美元時代
埃隆·馬斯克、山姆·阿爾特曼和達里奧·阿莫迪,這三位科技領域的巨頭,正推動其各自的企業邁向首次公開募股(IPO)。隨著 SpaceX、OpenAI 和 Anthropic——這三家估值接近萬億美元的行業巨頭——即將上市,2026 年被預測將成為美國曆史上新股發行規模最大的一年。這一歷史性的資本激增已引起全球金融界的關注,成為檢驗公共市場吸收如此大規模資金能力的關鍵壓力測試。這些主要融資活動的同步啟動預計將打破 2021 年創下的 1560 億美元紀錄。超級獨角獸的資本博弈每家公司上市的路徑
瑞典人工智慧初創公司Lovable Eyes在完成主要融資輪後估值達132億美元
隨著人工智慧驅動的編碼工具日益普及,瑞典初創公司 Lovable 已獲一輪重大融資。該公司計劃籌集 30 億美元,其估值有望升至 132 億美元——這是去年 12 月記錄的 66 億美元的兩倍。預計 Menlo Ventures 將主導此次投資。Lovable 的吸引力源於其核心的“氛圍編碼”(vibe coding)技術,該技術透過消除對複雜編碼技能的需求來簡化軟體開發。使用者只需以自然語言描述其需求,系統即可自動生成應用程式。這種直觀的方法吸引了個人開發者、設計師和小企業,並擴充套件至 Work
Google 測試 Remy AI 代理,以 Gemini 為重點轉向使用者控制
根據《商業內幕》的報道,谷歌正在測試 Remy,這是 Gemini 的一款全新 AI 個人代理工具。該工具旨在代表使用者執行任務,從而簡化專業工作流程和日常事務。目前,Remy 正在 Gemini 應用的內部員工專屬版本中進行測試。該報告引用了一份內部檔案以及對兩位熟悉該專案的個人的採訪。內部資料將 Remy 描述為“全天候個人代理”,將 Gemini 定位為能夠代表使用者行事的主動助手。接近該專案的訊息人士證實,谷歌員工正在積極測試 Remy。谷歌發言人拒絕提供進一步評論。該報告未提及公開發布
相關專題推薦
評論 (0)
0/500

近期有關某內部訊息的曝光引發了關於人工智慧安全邊界的熱烈討論。媒體報道稱,Meta曾開展過一個名為“Cannes”的專案,透過僱傭外包人員假扮未成年人,對包括ChatGPT、Gemini和Character.AI在內的多家主要競爭對手的聊天機器人進行有爭議的“極端壓力測試”。
根據Meta的內部檔案及多位知情人士透露,該專案至少持續到了今年4月21日。Meta透過外包公司Covalen動員了數百名員工,使用臨時電子郵件地址和標準密碼為18歲以下的使用者建立虛假賬號。這些“未成年人”賬號在與競爭對手的AI聊天機器人對話時,會傳送涉及自殺、自殘和飲食失調等高風險話題的提示,甚至上傳刀具、藥片和絞索的照片,以此觸發相關模型的反應機制。
內部專案檔案顯示,這些測試場景是經過精心設計的,旨在探測競爭對手AI系統的安全防護措施,試圖找到讓聊天機器人繞過既定保護機制並生成危險內容的方法。在2025年8月的一輪測試中,工作人員向競爭對手的平臺輸入了超過45,000條高風險提示。測試人員經常假扮處於困境中的青少年,編造諸如“詢問墮胎藥”“面臨暴力威脅”或“隱瞞飲食失調問題”之類的場景,以此考驗這些模型的底線。
針對此事,Meta發表了公開宣告為自身行為辯護。其發言人表示,對聊天機器人的響應進行基準測試是確保人工智慧產品安全且適用的行業標準做法,而所謂惡意行為的指控實際上歪曲了科技企業努力改進系統的初衷。Meta還明確否認曾利用競爭對手的測試資料來訓練自己的模型。
這一事件不僅暴露了人工智慧安全測試中的灰色地帶,也再次引發了外界對於生成式AI在處理涉及青少年的敏感問題時存在脆弱性的擔憂。隨著人工智慧技術的發展,如何在高效安全的測試與競爭行為與倫理考量之間的界限之間找到平衡,已成為該行業亟需解決的挑戰。
美國股市觸及歷史裡程碑,人工智慧與航空航天巨頭準備開啟萬億美元時代
埃隆·馬斯克、山姆·阿爾特曼和達里奧·阿莫迪,這三位科技領域的巨頭,正推動其各自的企業邁向首次公開募股(IPO)。隨著 SpaceX、OpenAI 和 Anthropic——這三家估值接近萬億美元的行業巨頭——即將上市,2026 年被預測將成為美國曆史上新股發行規模最大的一年。這一歷史性的資本激增已引起全球金融界的關注,成為檢驗公共市場吸收如此大規模資金能力的關鍵壓力測試。這些主要融資活動的同步啟動預計將打破 2021 年創下的 1560 億美元紀錄。超級獨角獸的資本博弈每家公司上市的路徑
瑞典人工智慧初創公司Lovable Eyes在完成主要融資輪後估值達132億美元
隨著人工智慧驅動的編碼工具日益普及,瑞典初創公司 Lovable 已獲一輪重大融資。該公司計劃籌集 30 億美元,其估值有望升至 132 億美元——這是去年 12 月記錄的 66 億美元的兩倍。預計 Menlo Ventures 將主導此次投資。Lovable 的吸引力源於其核心的“氛圍編碼”(vibe coding)技術,該技術透過消除對複雜編碼技能的需求來簡化軟體開發。使用者只需以自然語言描述其需求,系統即可自動生成應用程式。這種直觀的方法吸引了個人開發者、設計師和小企業,並擴充套件至 Work





首頁






