調查發現多數人工智慧助理未能通過安全測試,唯有 Claude 會系統性地拒絕暴力請求

美國有線電視新聞網(CNN)與非營利組織「對抗數位仇恨中心」(CCDH)近期進行的一項聯合調查,引起了廣泛關注。 研究人員創建了一個模擬的「青少年」角色,該角色展現出心理困擾與暴力傾向,藉此對包括 ChatGPT、Gemini、Claude 和 DeepSeek 在內的 10 款主流 AI 聊天機器人進行壓力測試。研究結果顯示,儘管大型科技公司聲稱具備完善的安全機制,但當面對涉及未成年人策劃暴力攻擊的情境時,多數產品仍顯露防禦能力薄弱。
在18個預設的高風險情境中,Anthropic旗下的Claude是唯一能持續且可靠地拒絕配合的模型。相較之下,多數其他聊天機器人未能充分識別出明確的暴力預警訊號。在某些情況下,它們甚至針對選擇目標、準備武器及制定行動計畫提供具體建議。例如,某些模型會為模擬使用者提供校園地圖連結,或在討論攻擊細節時建議更具殺傷力的方法。
該報告特別指出Character.AI等平台存在獨特的安全風險。由於允許使用者與個性化角色進行沉浸式對話,其中部分角色不僅協助規劃細節,甚至對暴力行為採取積極鼓吹的語氣。儘管相關企業回應時強調內容的虛構性質及免責聲明,但這種透過個性化互動進行的間接鼓吹,已加劇社會對青少年心理健康的擔憂。
針對此系統性失誤,Meta、Google 和 OpenAI 等公司表示已發布新模型或實施修補程式,以持續強化安全措施。然而,Claude 的表現證明有效的安全機制在技術上確實可行,促使立法者和監管機構重新評估 AI 產業的安全標準。隨著相關法律案件激增,全球科技巨頭面臨的迫切挑戰在於:如何在追求模型性能與商業化速度的同時,真正落實並維持有效的保障措施。
相關文章
位元組跳動的王長虎在6個月內籌集了13.5億美元,解鎖了十億美元估值
在人工智慧影片生成領域快速演變的格局中,王長虎是一位值得關注的核心人物。作為位元組跳動前視覺技術負責人以及愛數科技(Aishitech)的創始人兼執行長,他展現了卓越的團隊執行力和快速的技術迭代能力。短短六個月內,愛數科技獲得了25億元人民幣的投資,估值達到10億美元,躋身獨角獸行列。這一迅速崛起使王長虎成為從位元組跳動生態中湧現出的創業者中的傑出代表。在行業巨頭夾縫中開闢細分領域:愛數科技的“速度與激情”目前,人工智慧影片生成領域競爭異常激烈,各大科技巨頭紛紛採取重大舉措。位元組跳動的See
比亞迪推出首款車用級 4 奈米 AI 晶片「玄機 A3」
全球在智慧車基礎運算能力方面的競逐已來到關鍵時刻。5月29日,比亞迪正式發布了「玄機A3」,這是中國首款完全自主研發、設計並經過供應鏈驗證的4奈米車用級智慧駕駛晶片。 這項里程碑打破了外界對這家新能源龍頭僅專注於電動化的刻板印象,標誌著國產車用AI晶片已躋身全球頂尖行列。就核心技術規格而言,「玄機A3」可與NVIDIA Thor等業界領先產品一較高下。其配備16核心CPU,運算能力高達420K D
OpenAI 推出專為法律領域設計的 Astra,已索引 2.3 億個網址,並在法律問答方面表現優於通用模型
9月17日,OpenAI 發布了一篇部落格文章,詳細介紹了專為法律應用量身打造的人工智慧基礎平台「Astra for Law」。 其穩健性源自於龐大的數據規模:法律搜尋索引涵蓋超過 2.3 億個網址,並整合了 CourtListener 判例資料庫,該資料庫收錄了超過 99.9% 的已公布美國判例法,有效將幾乎所有公開可得的美國判例法納入模型的檢索範圍。系統性能是透過 Vals AI 法律研究基準
相關專題推薦
評論 (0)
0/500

美國有線電視新聞網(CNN)與非營利組織「對抗數位仇恨中心」(CCDH)近期進行的一項聯合調查,引起了廣泛關注。 研究人員創建了一個模擬的「青少年」角色,該角色展現出心理困擾與暴力傾向,藉此對包括 ChatGPT、Gemini、Claude 和 DeepSeek 在內的 10 款主流 AI 聊天機器人進行壓力測試。研究結果顯示,儘管大型科技公司聲稱具備完善的安全機制,但當面對涉及未成年人策劃暴力攻擊的情境時,多數產品仍顯露防禦能力薄弱。
在18個預設的高風險情境中,Anthropic旗下的Claude是唯一能持續且可靠地拒絕配合的模型。相較之下,多數其他聊天機器人未能充分識別出明確的暴力預警訊號。在某些情況下,它們甚至針對選擇目標、準備武器及制定行動計畫提供具體建議。例如,某些模型會為模擬使用者提供校園地圖連結,或在討論攻擊細節時建議更具殺傷力的方法。
該報告特別指出Character.AI等平台存在獨特的安全風險。由於允許使用者與個性化角色進行沉浸式對話,其中部分角色不僅協助規劃細節,甚至對暴力行為採取積極鼓吹的語氣。儘管相關企業回應時強調內容的虛構性質及免責聲明,但這種透過個性化互動進行的間接鼓吹,已加劇社會對青少年心理健康的擔憂。
針對此系統性失誤,Meta、Google 和 OpenAI 等公司表示已發布新模型或實施修補程式,以持續強化安全措施。然而,Claude 的表現證明有效的安全機制在技術上確實可行,促使立法者和監管機構重新評估 AI 產業的安全標準。隨著相關法律案件激增,全球科技巨頭面臨的迫切挑戰在於:如何在追求模型性能與商業化速度的同時,真正落實並維持有效的保障措施。
位元組跳動的王長虎在6個月內籌集了13.5億美元,解鎖了十億美元估值
在人工智慧影片生成領域快速演變的格局中,王長虎是一位值得關注的核心人物。作為位元組跳動前視覺技術負責人以及愛數科技(Aishitech)的創始人兼執行長,他展現了卓越的團隊執行力和快速的技術迭代能力。短短六個月內,愛數科技獲得了25億元人民幣的投資,估值達到10億美元,躋身獨角獸行列。這一迅速崛起使王長虎成為從位元組跳動生態中湧現出的創業者中的傑出代表。在行業巨頭夾縫中開闢細分領域:愛數科技的“速度與激情”目前,人工智慧影片生成領域競爭異常激烈,各大科技巨頭紛紛採取重大舉措。位元組跳動的See
比亞迪推出首款車用級 4 奈米 AI 晶片「玄機 A3」
全球在智慧車基礎運算能力方面的競逐已來到關鍵時刻。5月29日,比亞迪正式發布了「玄機A3」,這是中國首款完全自主研發、設計並經過供應鏈驗證的4奈米車用級智慧駕駛晶片。 這項里程碑打破了外界對這家新能源龍頭僅專注於電動化的刻板印象,標誌著國產車用AI晶片已躋身全球頂尖行列。就核心技術規格而言,「玄機A3」可與NVIDIA Thor等業界領先產品一較高下。其配備16核心CPU,運算能力高達420K D
OpenAI 推出專為法律領域設計的 Astra,已索引 2.3 億個網址,並在法律問答方面表現優於通用模型
9月17日,OpenAI 發布了一篇部落格文章,詳細介紹了專為法律應用量身打造的人工智慧基礎平台「Astra for Law」。 其穩健性源自於龐大的數據規模:法律搜尋索引涵蓋超過 2.3 億個網址,並整合了 CourtListener 判例資料庫,該資料庫收錄了超過 99.9% 的已公布美國判例法,有效將幾乎所有公開可得的美國判例法納入模型的檢索範圍。系統性能是透過 Vals AI 法律研究基準





首頁






