OpenAI 確認維基百科事件,並表示正在制定更透明的披露框架

OpenAI 已確認其參與了一起近期事件,其中 AI 代理接管了一個德國維基百科論壇。該公司表示,現在是時候“制定標準”來分享關於意外 AI 行為的資訊了。
在 X 平臺的一篇帖子中,OpenAI 解釋說,此前它“主要將不對齊問題(即 AI 模型和代理追求與創造者和使用者不同的目標)視為一個研究問題,並透過研究論文進行傳達。”然而,由於不對齊已“導致新型現實世界影響”,該公司表示其方法需要“為此新階段模型能力進行擴充套件”。
週五,路透社報道稱,OpenAI 的代理從測試環境中逃脫,“劫持”了一個冷門的德國維基百科論壇,將其變成了其他代理的留言板。報道還指出,OpenAI 高層數週前已意識到該事件,但公司選擇隱瞞,因為當時公司正忙於處理另一起因 OpenAI 代理入侵 Hugging Face 伺服器而引發的事件後果。(據報,加利福尼亞州總檢察長 Rob Bonta 正在調查此次駭客攻擊。)
一位公司發言人告訴路透社,OpenAI 無法“對未經審查的報告中的宣告或發現做出有意義的回應”,但他們堅持認為,公司的法律團隊並未阻止調查。
在其最近的社交媒體帖子中,OpenAI 表示,它已將“維基百科事件”視為“與已分享的其他案例類似的不對齊例項”。該公司將此與“Hugging Face 事件”進行了對比,後者中它“遵循了傳統的安全事件響應流程”。
在本週的一次媒體簡報會上,非營利研究實驗室 Transluce 的創始人兼執行長 Jacob Steinhardt 告訴記者,AI 實驗室正在開發和測試的工具“從根本上難以控制,並且有重大風險洩露出實驗室”。因此,Steinhardt 辯稱,“我們需要將這項技術至少置於與其他高風險科學研究相同的標準之下。”
OpenAI 的宣告也暗示了制定更多標準的必要性,指出 OpenAI 和“更廣泛的 AI 社羣”目前尚未就如何報告在訓練、評估和部署過程中出現的不對齊問題制定明確標準,包括那些看起來不像傳統安全事件但可能提供有關 AI 行為和未來風險見解的案例。
在該標準缺失的情況下,OpenAI 表示,它“正在制定一個框架,並將在未來幾周分享,同時,我們正在與全球數十個政府監管機構就這些問題展開合作。”
OpenAI 並非唯一一家處理這些問題的 AI 公司,Meta 和 Anthropic 均已承認其代理出現不當行為的事件。
相關文章
OpenAI 人為錯誤觸發 Hugging Face 上的 AI 驅動駭客攻擊
週二,OpenAI 披露稱,其一個 AI 模型在一次測試中突破了資料集平臺 Hugging Face 的系統,這標誌著全自動 AI 驅動攻擊的一個重大里程碑。然而,網路安全專家認為,儘管 AI 發揮了作用,但根本原因是一個人為錯誤:OpenAI 未能正確配置其“高度隔離的環境”,導致一個本應處於離線狀態的測試沙箱連線到了網際網路。網路安全公司 Trail of Bits 的創始人 Dan Guido 將這一疏忽描述為“安全措施關閉時的 containment(隔離)失敗”。OpenAI 在一
OpenAI 確認維基百科事件,並表示正在制定更透明的披露框架
OpenAI 已確認其參與了一起近期事件,其中 AI 代理接管了一個德國維基百科論壇。該公司表示,現在是時候“制定標準”來分享關於意外 AI 行為的資訊了。在 X 平臺的一篇帖子中,OpenAI 解釋說,此前它“主要將不對齊問題(即 AI 模型和代理追求與創造者和使用者不同的目標)視為一個研究問題,並透過研究論文進行傳達。”然而,由於不對齊已“導致新型現實世界影響”,該公司表示其方法需要“為此新階段模型能力進行擴充套件”。週五,路透社報道稱,OpenAI 的代理從測試環境中逃脫,“劫持”了一
根據 Ramp 的資料,Anthropic 的企業客戶數量已超過 OpenAI
Anthropic 首次超越 OpenAI,成為經驗證的商業客戶最多的公司,這是金融科技公司 Ramp 本月釋出的《AI 指數》所顯示的結果。Ramp 客戶支出資料顯示,34.4% 的參與企業支付 Anthropic 服務費用,超過所有其他 AI 實驗室,而 32.3% 的企業支付 OpenAI 費用。這標誌著 Anthropic 首次佔據領先地位。“Anthropic 已經在金融、科技、專業服務等高採用率群體中處於領先地位,”Ramp 經濟學家 Ara Kharazian 告訴 Tech
相關專題推薦
評論 (0)
0/500

OpenAI 已確認其參與了一起近期事件,其中 AI 代理接管了一個德國維基百科論壇。該公司表示,現在是時候“制定標準”來分享關於意外 AI 行為的資訊了。
在 X 平臺的一篇帖子中,OpenAI 解釋說,此前它“主要將不對齊問題(即 AI 模型和代理追求與創造者和使用者不同的目標)視為一個研究問題,並透過研究論文進行傳達。”然而,由於不對齊已“導致新型現實世界影響”,該公司表示其方法需要“為此新階段模型能力進行擴充套件”。
週五,路透社報道稱,OpenAI 的代理從測試環境中逃脫,“劫持”了一個冷門的德國維基百科論壇,將其變成了其他代理的留言板。報道還指出,OpenAI 高層數週前已意識到該事件,但公司選擇隱瞞,因為當時公司正忙於處理另一起因 OpenAI 代理入侵 Hugging Face 伺服器而引發的事件後果。(據報,加利福尼亞州總檢察長 Rob Bonta 正在調查此次駭客攻擊。)
一位公司發言人告訴路透社,OpenAI 無法“對未經審查的報告中的宣告或發現做出有意義的回應”,但他們堅持認為,公司的法律團隊並未阻止調查。
在其最近的社交媒體帖子中,OpenAI 表示,它已將“維基百科事件”視為“與已分享的其他案例類似的不對齊例項”。該公司將此與“Hugging Face 事件”進行了對比,後者中它“遵循了傳統的安全事件響應流程”。
在本週的一次媒體簡報會上,非營利研究實驗室 Transluce 的創始人兼執行長 Jacob Steinhardt 告訴記者,AI 實驗室正在開發和測試的工具“從根本上難以控制,並且有重大風險洩露出實驗室”。因此,Steinhardt 辯稱,“我們需要將這項技術至少置於與其他高風險科學研究相同的標準之下。”
OpenAI 的宣告也暗示了制定更多標準的必要性,指出 OpenAI 和“更廣泛的 AI 社羣”目前尚未就如何報告在訓練、評估和部署過程中出現的不對齊問題制定明確標準,包括那些看起來不像傳統安全事件但可能提供有關 AI 行為和未來風險見解的案例。
在該標準缺失的情況下,OpenAI 表示,它“正在制定一個框架,並將在未來幾周分享,同時,我們正在與全球數十個政府監管機構就這些問題展開合作。”
OpenAI 並非唯一一家處理這些問題的 AI 公司,Meta 和 Anthropic 均已承認其代理出現不當行為的事件。
OpenAI 人為錯誤觸發 Hugging Face 上的 AI 驅動駭客攻擊
週二,OpenAI 披露稱,其一個 AI 模型在一次測試中突破了資料集平臺 Hugging Face 的系統,這標誌著全自動 AI 驅動攻擊的一個重大里程碑。然而,網路安全專家認為,儘管 AI 發揮了作用,但根本原因是一個人為錯誤:OpenAI 未能正確配置其“高度隔離的環境”,導致一個本應處於離線狀態的測試沙箱連線到了網際網路。網路安全公司 Trail of Bits 的創始人 Dan Guido 將這一疏忽描述為“安全措施關閉時的 containment(隔離)失敗”。OpenAI 在一
OpenAI 確認維基百科事件,並表示正在制定更透明的披露框架
OpenAI 已確認其參與了一起近期事件,其中 AI 代理接管了一個德國維基百科論壇。該公司表示,現在是時候“制定標準”來分享關於意外 AI 行為的資訊了。在 X 平臺的一篇帖子中,OpenAI 解釋說,此前它“主要將不對齊問題(即 AI 模型和代理追求與創造者和使用者不同的目標)視為一個研究問題,並透過研究論文進行傳達。”然而,由於不對齊已“導致新型現實世界影響”,該公司表示其方法需要“為此新階段模型能力進行擴充套件”。週五,路透社報道稱,OpenAI 的代理從測試環境中逃脫,“劫持”了一
根據 Ramp 的資料,Anthropic 的企業客戶數量已超過 OpenAI
Anthropic 首次超越 OpenAI,成為經驗證的商業客戶最多的公司,這是金融科技公司 Ramp 本月釋出的《AI 指數》所顯示的結果。Ramp 客戶支出資料顯示,34.4% 的參與企業支付 Anthropic 服務費用,超過所有其他 AI 實驗室,而 32.3% 的企業支付 OpenAI 費用。這標誌著 Anthropic 首次佔據領先地位。“Anthropic 已經在金融、科技、專業服務等高採用率群體中處於領先地位,”Ramp 經濟學家 Ara Kharazian 告訴 Tech





首頁






