政府如何判定 OpenAI 的 Frontier 模型安全到可以發布

OpenAI 已推出其最新的先進語言模型「Sol」,並向大眾開放使用。Sol 普遍被認為具備與 Anthropic 的「Fable」相媲美的能力;後者曾因引發極大爭議,一度引起白宮的擔憂,導致其對公眾的開放權限曾被暫時限制。
這些模型最終是如何獲得發布批准的?答案至今仍不明朗。
「坦白說,我無法掌握那些具體的審核流程,因此確實覺得自己沒有足夠資訊來判斷這些流程是否妥當,」喬治城大學安全與新興技術中心的高級研究分析師米娜·納拉亞南(Mina Narayanan)向 TechCrunch 表示。 「Anthropic 確實表示他們正與政府進行對話,並開發了一款分類器來偵測越獄嘗試,同時也實施了防禦性漏洞策略以防止未來發生越獄事件,但政府與 Anthropic 及 OpenAI 之間的對話具體內容為何,目前尚不清楚。」
前川普政策顧問、現任職於 OpenAI 的迪恩·W·鮑爾(Dean W. Ball)上個月在其電子報中指出:「沒有人知道取得執照的具體要求是什麼。」
電腦科學家安迪·康溫斯基(Andy Konwinski)曾共同創辦 Databricks、Perplexity 及 Laude Institute,他表示即使在頂尖 AI 實驗室的員工之中,他也從未與任何人交談過,對方能完全理解這個流程。「這本質上是一個問題,」他告訴 TechCrunch。 「無論是否涉及安全問題,關鍵在於誰擁有決策權——誰是把關者,又由誰來決定許可權?」
特朗普政府上任十八個月以來,儘管業界人士正參與政策制定——或者,正如某些批評者所指稱的,正因如此——關於未來該如何推進,仍缺乏明確方向。上個月,經過數週的內部爭論後,一份行政命令終於發布,其中概述了評估前沿模型的路線圖,但具體細節仍未填補,除了那些「不會存在」的內容之外。 「不會有專門針對人工智慧的美國食品藥物管理局(FDA),」前安德森·霍洛維茨合夥人斯里拉姆·克里希南(Sriram Krishnan)——他直到上個月才卸任白宮人工智慧高級顧問一職——向《金融時報》表示。
值得注意的是,目前仍未就哪些類型的模型需要政府審查,以及應由哪個或哪些機構進行評估達成共識。 目前看來,商務部下屬的「人工智慧標準與創新中心」似乎正主導這項工作,但該行政命令要求六個內閣級機構須在八月初前確定最終流程。在此期間所浮現的措施,充其量只能說是臨時應變。
OpenAI 執行長山姆·奧特曼(Sam Altman)向 CNBC 透露,該流程涉及與商務部長霍華德·盧特尼克(Howard Lutnick)、財政部長斯科特·貝森特(Scott Bessent)以及美國國家網路安全總監肖恩·凱恩克羅斯(Sean Cairncross)等官員的討論,但目前仍不清楚測試模型的專家身分為何,亦不清楚他們如何進行這些測試。 OpenAI 拒絕向 TechCrunch 透露政府審核流程的細節,而是援引了最新模型安全卡中收錄的、由英國 AISI、SecureBio 及 Irregular 等組織進行的數項外部評估結果。
與 Anthropic 推出 Fable 模型的作法類似,OpenAI 在廣泛發布前,先向政府及部分用戶預覽了該模型,但目前尚不清楚這些用戶的具體身分,以及他們是如何被選中的。 該公司在六月底的一篇部落格文章中表示:「我們不認為這類政府存取流程應成為長期的預設模式」,並補充將與政府合作,共同開闢不同的未來路徑。
這些對話的背景包括多份報導指出,奧特曼曾為政府所謂的「川普帳戶」提供高達 5% 的 OpenAI 股權,以及 OpenAI 總裁葛瑞格·布洛克曼身為川普中期選戰活動中已知最大捐款人的身分。 對於外部觀察者而言,很難將這些活動與政府對 Sol 採取的、表面上較為寬鬆的監管方式區分開來。
另一方面,當美國政府禁止外國公民使用 Anthropic 的「Fable」模型時,該模型曾短暫被限制廣泛使用——部分原因在於對使用者破解模型以獲取駭客能力的真實擔憂,部分原因則源於 Anthropic 與川普政府之間的人格衝突。 出口禁令的威脅,可能也促使 OpenAI 對政府的(未知)要求表現出更大的合作意願。
從產業角度來看,放任不管的監管方式看似誘人,但若依賴與政府官員的個人關係,則會造成不確定性並產生不良誘因。
康溫斯基(Konwinski)向 TechCrunch 表示,他擔心這項技術的真正專家——「安全研究人員、對齊研究人員、可解釋性研究人員,以及數據專家和技術棧各層面的專業人士」——在模型發布過程中未能發揮足夠的作用。
康溫斯基主張,「開放共享資源」(open commons)是平衡安全與創新的最佳方式。他以美國食品藥物管理局(FDA)、美國國家衛生研究院(NIH)或國家實驗室等機構為例,這些機構匯集了研究人員、政府官員及私營企業,共同就安全議題達成共識。
這在某種程度上歸因於資本主義的激勵機制——這套機制十多年來一直驅動著人工智慧研究人員,並在伊隆·馬斯克(Elon Musk)挑戰 OpenAI 公司架構的訴訟中於法庭上顯露無遺。巴爾(Ball)指出,人工智慧業務的本質要求企業在模型發布後不久便收回大部分訓練成本,並進一步拉開與競爭對手的差距。
「即使他們的初衷是好的,但運作程序中早已內建了非常明確的法律義務與受託責任,」康溫斯基指出。
鮑爾在貼文中主張,未來的出路將取決於由政府授權的第三方審計機構,這些機構將評估前沿實驗室在安全方面的做法。康溫斯基同樣對新的制度形式持樂觀態度,例如專注於特定領域的研究組織,這類組織能協助更多來自學術界和非營利領域、立場中立的專家接觸並評估前沿模型。
目前,圍繞人工智慧開發的保密氛圍並未消退,但這也將為這個日益受到美國人質疑的產業埋下政治挑戰的種子。 「目前並未感受到是負責任的人在推動這些變革,」威斯康辛大學麥迪遜分校電腦科學教授雷姆齊·阿爾帕奇-杜索(Remzi Arpaci-Dusseau)上週在「開放前沿」(Open Frontier)會議上表示。
在同一場活動中,創立了最成功的量化對沖基金之一「Two Sigma」的電腦科學家大衛·西格爾(David Siegel),請與會者「設想一種情況——我認為這將非常糟糕——[即]少數企業掌控這項技術; 政府則在祕密實驗室中評估這項技術是否適合使用;而一般大眾和科學界卻根本無法接觸到任何相關資訊。」
看來,我們根本無需去想像這種情況。
相關文章
山姆·奧特曼引發關於人工智慧減速的辯論
在Apple Podcasts上收聽在Spotify上收聽OpenAI執行長薩姆·阿爾特曼(Sam Altman)最近表示,現在可能是時候“控制人工智慧的發展速度”,以便社會“在這些新的能力水平周圍加固自身”。在TechCrunch《Equity》播客的最新一期中,Kirsten Korosec、Sean O’Kane和我討論了阿爾特曼的言論可能由最近的一次駭客攻擊所觸發,該攻擊中一名OpenAI代理突破了Hugging Face的系統。Sean指出,雖然由AI代理執行的駭客攻擊是前所未
OpenAI 與蘋果公司就商業秘密訴訟進行對抗
OpenAI 於週二駁回了蘋果公司的商業秘密指控,稱該訴訟毫無根據。“我們認真對待這些指控,但未發現任何支援它們的證據,”OpenAI 表示,據彭博社記者 Ed Ludlow 在 X 平臺報道,“我們支援公平競爭和工作自由,專注於創造賦能全球使用者的技術。”此前,蘋果公司於週五在美國加利福尼亞州北區聯邦地區法院提起訴訟,指控 OpenAI 策劃了一項從前蘋果員工處竊取機密資料和智慧財產權的計劃。這份長達 41 頁的訴狀針對 OpenAI 的高管層,包括首席硬體官 Tang Tan,他是一名擁有
OpenAI機器人專案主管凱特琳·卡利諾夫斯基因五角大樓合作專案辭職
OpenAI 機器人業務負責人凱特琳·卡利諾夫斯基(Caitlin Kalinowski)在該公司與國防部達成備受爭議的合作伙伴關係後辭職。“這不是一個輕鬆的決定,”卡利諾夫斯基在社交媒體宣告中解釋道。“雖然人工智慧在國家安全中發揮著至關重要的作用,但在沒有司法監督的情況下對美國公民進行監視,以及在未經人類授權的情況下部署致命自主武器,都是需要更加慎重考慮的界限。”卡利諾夫斯基此前因領導 Meta 的增強現實眼鏡部門而聞名,她於 2024 年 11 月加入 OpenAI。在辭職信中,她強調她
相關專題推薦
評論 (0)
0/500

OpenAI 已推出其最新的先進語言模型「Sol」,並向大眾開放使用。Sol 普遍被認為具備與 Anthropic 的「Fable」相媲美的能力;後者曾因引發極大爭議,一度引起白宮的擔憂,導致其對公眾的開放權限曾被暫時限制。
這些模型最終是如何獲得發布批准的?答案至今仍不明朗。
「坦白說,我無法掌握那些具體的審核流程,因此確實覺得自己沒有足夠資訊來判斷這些流程是否妥當,」喬治城大學安全與新興技術中心的高級研究分析師米娜·納拉亞南(Mina Narayanan)向 TechCrunch 表示。 「Anthropic 確實表示他們正與政府進行對話,並開發了一款分類器來偵測越獄嘗試,同時也實施了防禦性漏洞策略以防止未來發生越獄事件,但政府與 Anthropic 及 OpenAI 之間的對話具體內容為何,目前尚不清楚。」
前川普政策顧問、現任職於 OpenAI 的迪恩·W·鮑爾(Dean W. Ball)上個月在其電子報中指出:「沒有人知道取得執照的具體要求是什麼。」
電腦科學家安迪·康溫斯基(Andy Konwinski)曾共同創辦 Databricks、Perplexity 及 Laude Institute,他表示即使在頂尖 AI 實驗室的員工之中,他也從未與任何人交談過,對方能完全理解這個流程。「這本質上是一個問題,」他告訴 TechCrunch。 「無論是否涉及安全問題,關鍵在於誰擁有決策權——誰是把關者,又由誰來決定許可權?」
特朗普政府上任十八個月以來,儘管業界人士正參與政策制定——或者,正如某些批評者所指稱的,正因如此——關於未來該如何推進,仍缺乏明確方向。上個月,經過數週的內部爭論後,一份行政命令終於發布,其中概述了評估前沿模型的路線圖,但具體細節仍未填補,除了那些「不會存在」的內容之外。 「不會有專門針對人工智慧的美國食品藥物管理局(FDA),」前安德森·霍洛維茨合夥人斯里拉姆·克里希南(Sriram Krishnan)——他直到上個月才卸任白宮人工智慧高級顧問一職——向《金融時報》表示。
值得注意的是,目前仍未就哪些類型的模型需要政府審查,以及應由哪個或哪些機構進行評估達成共識。 目前看來,商務部下屬的「人工智慧標準與創新中心」似乎正主導這項工作,但該行政命令要求六個內閣級機構須在八月初前確定最終流程。在此期間所浮現的措施,充其量只能說是臨時應變。
OpenAI 執行長山姆·奧特曼(Sam Altman)向 CNBC 透露,該流程涉及與商務部長霍華德·盧特尼克(Howard Lutnick)、財政部長斯科特·貝森特(Scott Bessent)以及美國國家網路安全總監肖恩·凱恩克羅斯(Sean Cairncross)等官員的討論,但目前仍不清楚測試模型的專家身分為何,亦不清楚他們如何進行這些測試。 OpenAI 拒絕向 TechCrunch 透露政府審核流程的細節,而是援引了最新模型安全卡中收錄的、由英國 AISI、SecureBio 及 Irregular 等組織進行的數項外部評估結果。
與 Anthropic 推出 Fable 模型的作法類似,OpenAI 在廣泛發布前,先向政府及部分用戶預覽了該模型,但目前尚不清楚這些用戶的具體身分,以及他們是如何被選中的。 該公司在六月底的一篇部落格文章中表示:「我們不認為這類政府存取流程應成為長期的預設模式」,並補充將與政府合作,共同開闢不同的未來路徑。
這些對話的背景包括多份報導指出,奧特曼曾為政府所謂的「川普帳戶」提供高達 5% 的 OpenAI 股權,以及 OpenAI 總裁葛瑞格·布洛克曼身為川普中期選戰活動中已知最大捐款人的身分。 對於外部觀察者而言,很難將這些活動與政府對 Sol 採取的、表面上較為寬鬆的監管方式區分開來。
另一方面,當美國政府禁止外國公民使用 Anthropic 的「Fable」模型時,該模型曾短暫被限制廣泛使用——部分原因在於對使用者破解模型以獲取駭客能力的真實擔憂,部分原因則源於 Anthropic 與川普政府之間的人格衝突。 出口禁令的威脅,可能也促使 OpenAI 對政府的(未知)要求表現出更大的合作意願。
從產業角度來看,放任不管的監管方式看似誘人,但若依賴與政府官員的個人關係,則會造成不確定性並產生不良誘因。
康溫斯基(Konwinski)向 TechCrunch 表示,他擔心這項技術的真正專家——「安全研究人員、對齊研究人員、可解釋性研究人員,以及數據專家和技術棧各層面的專業人士」——在模型發布過程中未能發揮足夠的作用。
康溫斯基主張,「開放共享資源」(open commons)是平衡安全與創新的最佳方式。他以美國食品藥物管理局(FDA)、美國國家衛生研究院(NIH)或國家實驗室等機構為例,這些機構匯集了研究人員、政府官員及私營企業,共同就安全議題達成共識。
這在某種程度上歸因於資本主義的激勵機制——這套機制十多年來一直驅動著人工智慧研究人員,並在伊隆·馬斯克(Elon Musk)挑戰 OpenAI 公司架構的訴訟中於法庭上顯露無遺。巴爾(Ball)指出,人工智慧業務的本質要求企業在模型發布後不久便收回大部分訓練成本,並進一步拉開與競爭對手的差距。
「即使他們的初衷是好的,但運作程序中早已內建了非常明確的法律義務與受託責任,」康溫斯基指出。
鮑爾在貼文中主張,未來的出路將取決於由政府授權的第三方審計機構,這些機構將評估前沿實驗室在安全方面的做法。康溫斯基同樣對新的制度形式持樂觀態度,例如專注於特定領域的研究組織,這類組織能協助更多來自學術界和非營利領域、立場中立的專家接觸並評估前沿模型。
目前,圍繞人工智慧開發的保密氛圍並未消退,但這也將為這個日益受到美國人質疑的產業埋下政治挑戰的種子。 「目前並未感受到是負責任的人在推動這些變革,」威斯康辛大學麥迪遜分校電腦科學教授雷姆齊·阿爾帕奇-杜索(Remzi Arpaci-Dusseau)上週在「開放前沿」(Open Frontier)會議上表示。
在同一場活動中,創立了最成功的量化對沖基金之一「Two Sigma」的電腦科學家大衛·西格爾(David Siegel),請與會者「設想一種情況——我認為這將非常糟糕——[即]少數企業掌控這項技術; 政府則在祕密實驗室中評估這項技術是否適合使用;而一般大眾和科學界卻根本無法接觸到任何相關資訊。」
看來,我們根本無需去想像這種情況。
山姆·奧特曼引發關於人工智慧減速的辯論
在Apple Podcasts上收聽在Spotify上收聽OpenAI執行長薩姆·阿爾特曼(Sam Altman)最近表示,現在可能是時候“控制人工智慧的發展速度”,以便社會“在這些新的能力水平周圍加固自身”。在TechCrunch《Equity》播客的最新一期中,Kirsten Korosec、Sean O’Kane和我討論了阿爾特曼的言論可能由最近的一次駭客攻擊所觸發,該攻擊中一名OpenAI代理突破了Hugging Face的系統。Sean指出,雖然由AI代理執行的駭客攻擊是前所未
OpenAI 與蘋果公司就商業秘密訴訟進行對抗
OpenAI 於週二駁回了蘋果公司的商業秘密指控,稱該訴訟毫無根據。“我們認真對待這些指控,但未發現任何支援它們的證據,”OpenAI 表示,據彭博社記者 Ed Ludlow 在 X 平臺報道,“我們支援公平競爭和工作自由,專注於創造賦能全球使用者的技術。”此前,蘋果公司於週五在美國加利福尼亞州北區聯邦地區法院提起訴訟,指控 OpenAI 策劃了一項從前蘋果員工處竊取機密資料和智慧財產權的計劃。這份長達 41 頁的訴狀針對 OpenAI 的高管層,包括首席硬體官 Tang Tan,他是一名擁有
OpenAI機器人專案主管凱特琳·卡利諾夫斯基因五角大樓合作專案辭職
OpenAI 機器人業務負責人凱特琳·卡利諾夫斯基(Caitlin Kalinowski)在該公司與國防部達成備受爭議的合作伙伴關係後辭職。“這不是一個輕鬆的決定,”卡利諾夫斯基在社交媒體宣告中解釋道。“雖然人工智慧在國家安全中發揮著至關重要的作用,但在沒有司法監督的情況下對美國公民進行監視,以及在未經人類授權的情況下部署致命自主武器,都是需要更加慎重考慮的界限。”卡利諾夫斯基此前因領導 Meta 的增強現實眼鏡部門而聞名,她於 2024 年 11 月加入 OpenAI。在辭職信中,她強調她





首頁






