Openai的最新AI型號具有新的保障措施,以防止生物風格
OpenAI對AI模型o3與o4-mini的新安全措施
OpenAI為其進階AI模型o3與o4-mini引入了一套新的監控系統,專為檢測並防止回應與生物和化學威脅相關的提示而設計。這種「以安全為核心的推理監控器」是針對這些模型增強功能所做出的回應,根據OpenAI的說法,這些模型相較於其前代產品有了顯著進步,且可能被惡意行為者濫用。
該公司的內部基準顯示,特別是o3在回答關於製造某些生物威脅的問題時表現出更高的熟練度。為了解決這一問題及其他潛在風險,OpenAI開發了這套新系統,與o3及o4-mini一同運作。該系統經過訓練,能識別並拒絕可能導致有害生物和化學風險建議的提示。
測試與結果
為了評估此安全監控器的有效性,OpenAI進行了廣泛的測試。紅隊成員花費大約1,000小時識別由o3及o4-mini生成的「不安全」生物風險相關對話。在模擬監控器的「阻斷邏輯」中,這些模型成功拒絕回應風險提示的比率達98.7%。
然而,OpenAI承認其測試未考慮用戶在被阻斷後可能嘗試不同提示的情況。因此,該公司計劃繼續使用人工監控作為其安全策略的一部分。
風險評估與持續監控
儘管具有進階功能,o3與o4-mini並未超過OpenAI對生物風險的「高風險」門檻。然而,這些模型的早期版本在回答關於開發生物武器的問題時,與o1及GPT-4相比更為熟練。OpenAI正積極監控這些模型可能如何促進化學和生物威脅的發展,如其更新的準備框架所述。

來自o3與o4-mini系統卡的圖表(截圖:OpenAI) OpenAI日益依賴自動化系統來管理其模型帶來的風險。例如,類似的推理監控器被用於防止GPT-4o的圖像生成器產生兒童性虐待材料(CSAM)。
關注與批評
儘管有這些努力,一些研究人員認為OpenAI可能未足夠重視安全。OpenAI的紅隊合作夥伴之一Metr指出,他們測試o3的欺騙行為的時間有限。此外,OpenAI選擇不為其最近推出的GPT-4.1模型發布安全報告,這進一步引發了對該公司透明度與安全承諾的關注。
相關文章
山姆·奧特曼引發關於人工智慧減速的辯論
在Apple Podcasts上收聽在Spotify上收聽OpenAI執行長薩姆·阿爾特曼(Sam Altman)最近表示,現在可能是時候“控制人工智慧的發展速度”,以便社會“在這些新的能力水平周圍加固自身”。在TechCrunch《Equity》播客的最新一期中,Kirsten Korosec、Sean O’Kane和我討論了阿爾特曼的言論可能由最近的一次駭客攻擊所觸發,該攻擊中一名OpenAI代理突破了Hugging Face的系統。Sean指出,雖然由AI代理執行的駭客攻擊是前所未
OpenAI 與蘋果公司就商業秘密訴訟進行對抗
OpenAI 於週二駁回了蘋果公司的商業秘密指控,稱該訴訟毫無根據。“我們認真對待這些指控,但未發現任何支援它們的證據,”OpenAI 表示,據彭博社記者 Ed Ludlow 在 X 平臺報道,“我們支援公平競爭和工作自由,專注於創造賦能全球使用者的技術。”此前,蘋果公司於週五在美國加利福尼亞州北區聯邦地區法院提起訴訟,指控 OpenAI 策劃了一項從前蘋果員工處竊取機密資料和智慧財產權的計劃。這份長達 41 頁的訴狀針對 OpenAI 的高管層,包括首席硬體官 Tang Tan,他是一名擁有
OpenAI機器人專案主管凱特琳·卡利諾夫斯基因五角大樓合作專案辭職
OpenAI 機器人業務負責人凱特琳·卡利諾夫斯基(Caitlin Kalinowski)在該公司與國防部達成備受爭議的合作伙伴關係後辭職。“這不是一個輕鬆的決定,”卡利諾夫斯基在社交媒體宣告中解釋道。“雖然人工智慧在國家安全中發揮著至關重要的作用,但在沒有司法監督的情況下對美國公民進行監視,以及在未經人類授權的情況下部署致命自主武器,都是需要更加慎重考慮的界限。”卡利諾夫斯基此前因領導 Meta 的增強現實眼鏡部門而聞名,她於 2024 年 11 月加入 OpenAI。在辭職信中,她強調她
相關專題推薦
評論 (6)
0/500
Wow, OpenAI's new safety measures for o3 and o4-mini sound like a big step! It's reassuring to see them tackling biorisks head-on. But I wonder, how foolproof is this monitoring system? 🤔 Could it catch every sneaky prompt?
OpenAIの新しい安全機能は素晴らしいですね!生物学的リスクを防ぐための監視システムがあるのは安心です。ただ、無害な質問までブロックされることがあるのが少し気になります。でも、安全第一ですからね。引き続き頑張ってください、OpenAI!😊
OpenAI's new safety feature is a game-changer! It's reassuring to know that AI models are being monitored to prevent misuse, especially in sensitive areas like biosecurity. But sometimes it feels a bit too cautious, blocking harmless queries. Still, better safe than sorry, right? Keep up the good work, OpenAI! 😊
¡La nueva función de seguridad de OpenAI es un cambio de juego! Es tranquilizador saber que los modelos de IA están siendo monitoreados para prevenir el mal uso, especialmente en áreas sensibles como la bioseguridad. Pero a veces parece un poco demasiado cauteloso, bloqueando consultas inofensivas. Aún así, más vale prevenir que lamentar, ¿verdad? ¡Sigue el buen trabajo, OpenAI! 😊
A nova função de segurança da OpenAI é incrível! É reconfortante saber que os modelos de IA estão sendo monitorados para evitar uso indevido, especialmente em áreas sensíveis como a biosegurança. Mas às vezes parece um pouco excessivamente cauteloso, bloqueando consultas inofensivas. Ainda assim, melhor prevenir do que remediar, certo? Continue o bom trabalho, OpenAI! 😊
OpenAI對AI模型o3與o4-mini的新安全措施
OpenAI為其進階AI模型o3與o4-mini引入了一套新的監控系統,專為檢測並防止回應與生物和化學威脅相關的提示而設計。這種「以安全為核心的推理監控器」是針對這些模型增強功能所做出的回應,根據OpenAI的說法,這些模型相較於其前代產品有了顯著進步,且可能被惡意行為者濫用。
該公司的內部基準顯示,特別是o3在回答關於製造某些生物威脅的問題時表現出更高的熟練度。為了解決這一問題及其他潛在風險,OpenAI開發了這套新系統,與o3及o4-mini一同運作。該系統經過訓練,能識別並拒絕可能導致有害生物和化學風險建議的提示。
測試與結果
為了評估此安全監控器的有效性,OpenAI進行了廣泛的測試。紅隊成員花費大約1,000小時識別由o3及o4-mini生成的「不安全」生物風險相關對話。在模擬監控器的「阻斷邏輯」中,這些模型成功拒絕回應風險提示的比率達98.7%。
然而,OpenAI承認其測試未考慮用戶在被阻斷後可能嘗試不同提示的情況。因此,該公司計劃繼續使用人工監控作為其安全策略的一部分。
風險評估與持續監控
儘管具有進階功能,o3與o4-mini並未超過OpenAI對生物風險的「高風險」門檻。然而,這些模型的早期版本在回答關於開發生物武器的問題時,與o1及GPT-4相比更為熟練。OpenAI正積極監控這些模型可能如何促進化學和生物威脅的發展,如其更新的準備框架所述。

OpenAI日益依賴自動化系統來管理其模型帶來的風險。例如,類似的推理監控器被用於防止GPT-4o的圖像生成器產生兒童性虐待材料(CSAM)。
關注與批評
儘管有這些努力,一些研究人員認為OpenAI可能未足夠重視安全。OpenAI的紅隊合作夥伴之一Metr指出,他們測試o3的欺騙行為的時間有限。此外,OpenAI選擇不為其最近推出的GPT-4.1模型發布安全報告,這進一步引發了對該公司透明度與安全承諾的關注。
山姆·奧特曼引發關於人工智慧減速的辯論
在Apple Podcasts上收聽在Spotify上收聽OpenAI執行長薩姆·阿爾特曼(Sam Altman)最近表示,現在可能是時候“控制人工智慧的發展速度”,以便社會“在這些新的能力水平周圍加固自身”。在TechCrunch《Equity》播客的最新一期中,Kirsten Korosec、Sean O’Kane和我討論了阿爾特曼的言論可能由最近的一次駭客攻擊所觸發,該攻擊中一名OpenAI代理突破了Hugging Face的系統。Sean指出,雖然由AI代理執行的駭客攻擊是前所未
OpenAI 與蘋果公司就商業秘密訴訟進行對抗
OpenAI 於週二駁回了蘋果公司的商業秘密指控,稱該訴訟毫無根據。“我們認真對待這些指控,但未發現任何支援它們的證據,”OpenAI 表示,據彭博社記者 Ed Ludlow 在 X 平臺報道,“我們支援公平競爭和工作自由,專注於創造賦能全球使用者的技術。”此前,蘋果公司於週五在美國加利福尼亞州北區聯邦地區法院提起訴訟,指控 OpenAI 策劃了一項從前蘋果員工處竊取機密資料和智慧財產權的計劃。這份長達 41 頁的訴狀針對 OpenAI 的高管層,包括首席硬體官 Tang Tan,他是一名擁有
OpenAI機器人專案主管凱特琳·卡利諾夫斯基因五角大樓合作專案辭職
OpenAI 機器人業務負責人凱特琳·卡利諾夫斯基(Caitlin Kalinowski)在該公司與國防部達成備受爭議的合作伙伴關係後辭職。“這不是一個輕鬆的決定,”卡利諾夫斯基在社交媒體宣告中解釋道。“雖然人工智慧在國家安全中發揮著至關重要的作用,但在沒有司法監督的情況下對美國公民進行監視,以及在未經人類授權的情況下部署致命自主武器,都是需要更加慎重考慮的界限。”卡利諾夫斯基此前因領導 Meta 的增強現實眼鏡部門而聞名,她於 2024 年 11 月加入 OpenAI。在辭職信中,她強調她
Wow, OpenAI's new safety measures for o3 and o4-mini sound like a big step! It's reassuring to see them tackling biorisks head-on. But I wonder, how foolproof is this monitoring system? 🤔 Could it catch every sneaky prompt?
OpenAIの新しい安全機能は素晴らしいですね!生物学的リスクを防ぐための監視システムがあるのは安心です。ただ、無害な質問までブロックされることがあるのが少し気になります。でも、安全第一ですからね。引き続き頑張ってください、OpenAI!😊
OpenAI's new safety feature is a game-changer! It's reassuring to know that AI models are being monitored to prevent misuse, especially in sensitive areas like biosecurity. But sometimes it feels a bit too cautious, blocking harmless queries. Still, better safe than sorry, right? Keep up the good work, OpenAI! 😊
¡La nueva función de seguridad de OpenAI es un cambio de juego! Es tranquilizador saber que los modelos de IA están siendo monitoreados para prevenir el mal uso, especialmente en áreas sensibles como la bioseguridad. Pero a veces parece un poco demasiado cauteloso, bloqueando consultas inofensivas. Aún así, más vale prevenir que lamentar, ¿verdad? ¡Sigue el buen trabajo, OpenAI! 😊
A nova função de segurança da OpenAI é incrível! É reconfortante saber que os modelos de IA estão sendo monitorados para evitar uso indevido, especialmente em áreas sensíveis como a biosegurança. Mas às vezes parece um pouco excessivamente cauteloso, bloqueando consultas inofensivas. Ainda assim, melhor prevenir do que remediar, certo? Continue o bom trabalho, OpenAI! 😊





首頁






