OpenAI首席科學家回應AI推理透明度爭議:複雜性保持穩定,未出現突然躍升

9月2日,OpenAI首席科學家Jakub Pachocki在X平臺上就公眾對AI模型Astra的擔憂發表宣告,澄清了有關該模型在缺乏監督的情況下執行且推理過程不透明的說法。
爭議爆發的原因:深層迴圈機制使推理路徑變得模糊
此事源於《The Information》釋出的一份詳細報告,該報告披露OpenAI正在試驗“深層迴圈”技術。這種方法可能會使研究人員難以追蹤模型的“思維鏈”推理過程。
雖然ChatGPT、Claude和Gemini等主流模型依賴於Transformer架構——以線性步驟處理資訊,並偶爾輸出自然語言形式的推理——但這種輸出並不總是反映內部計算過程。“深層迴圈”使模型能夠反覆呼叫相同的網路層,持續更新內部狀態。與傳統線性結構不同,這種方法可能會將重要的推理過程保留在晦澀的內部狀態中,導致研究人員難以透過思維鏈來追蹤決策路徑。報告發布後,AI社羣擔心此類技術可能會阻礙外部監控工具的有效性,從而降低模型得出結論過程的透明度。
Pachocki澄清:計算圖深度仍處於可控範圍
在帖子中,Pachocki表示希望避免由誤導性媒體報道驅動的“走向無監督AI的競賽”。他澄清稱,OpenAI當前先進模型(包括Astra)的計算圖深度不到GPT-4的兩倍,這表明架構複雜性並未如人們擔心的那樣突然激增。
他指出,自推出初始推理模型以來,OpenAI一直優先考慮維護和利用思維鏈監控技術。該技術對於理解模型對齊如何從訓練資料中泛化至關重要。然而,他承認目前的思維鏈監控技術較為脆弱,且由於與架構變更無關的原因,其效果有所下降。團隊計劃採取措施加強這一能力,這是當前研究的核心目標之一。OpenAI確認將為Astra部署增強的思維鏈監控功能。
計算圖深度用於衡量神經網路的複雜性,代表從輸入到輸出的順序計算層數。數值越高,表明結構越複雜。
相關文章
位元組跳動旗下 Seed 啟動全球校園招聘,以虛擬股份爭奪頂尖大模型人才
在大型語言模型的競爭格局中,爭奪頂尖人才仍然是最關鍵的戰略資產。4月1日,位元組跳動宣佈啟動Seed全球校園招聘計劃,作為其大模型人才培養專案的一部分。該活動面向2027屆畢業生及現有實習生,旨在全球範圍內發掘並鎖定AI領域的精英研發與工程人才。規模擴張:全球甄選100名“AI種子”在技術快速進步的背景下,位元組跳動有限公司今年大幅增加了對基礎AI人才的投入:招聘範圍: 該計劃旨在從全球範圍內招聘約100名專注於大模型的傑出候選人,物件為2027屆畢業生。發展路徑: Seed計劃將核心
Suno 在法律訴訟中為歌曲新增水印
Suno,這個允許使用者生成由人工智慧創作的音樂的平臺,近日推出了新功能,包括為平臺製作的曲目新增標籤、限制下載,並更新社羣標準以遏制未經授權的複製品。這些更新是在Suno面臨多家唱片公司和藝術家組織提起的多起訴訟之際推出的。在部落格文章中,聯合創始人兼執行長Mikey Shulman概述了核心原則,強調該平臺旨在促進原創創作,同時擴大更廣泛受眾對人工智慧音樂工具的訪問許可權。一個主要的爭議點在於,使用者將人工智慧生成的歌曲上傳到其他流媒體服務並透過操縱系統獲取收入。Suno表示,現在將採用音訊
馬斯克承認 Grok 構建過程中洩露了使用者程式碼,並承諾清除所有歷史資料
埃隆·馬斯克直接回應了圍繞 Grok Build 的隱私爭議,首先以簡單的“True”(屬實)確認了該事件的有效性。他承諾,此前上傳至 SpaceXAI 的所有使用者資料將被永久刪除,並表示“不留一個位元組”。這是人工智慧行業首次由主要科技領袖公開承認錯誤並主動刪除使用者資料。安全研究人員的“釣魚”測試揭示了資料洩露的具體證據此次爭議源於獨立人工智慧安全研究人員 @cereblab 的一份報告。SpaceXAI 推出的 AI 程式設計助手 Grok Build 在其官方網站上聲稱其“優先本地執行,程式碼
相關專題推薦
評論 (0)
0/500

9月2日,OpenAI首席科學家Jakub Pachocki在X平臺上就公眾對AI模型Astra的擔憂發表宣告,澄清了有關該模型在缺乏監督的情況下執行且推理過程不透明的說法。
爭議爆發的原因:深層迴圈機制使推理路徑變得模糊
此事源於《The Information》釋出的一份詳細報告,該報告披露OpenAI正在試驗“深層迴圈”技術。這種方法可能會使研究人員難以追蹤模型的“思維鏈”推理過程。
雖然ChatGPT、Claude和Gemini等主流模型依賴於Transformer架構——以線性步驟處理資訊,並偶爾輸出自然語言形式的推理——但這種輸出並不總是反映內部計算過程。“深層迴圈”使模型能夠反覆呼叫相同的網路層,持續更新內部狀態。與傳統線性結構不同,這種方法可能會將重要的推理過程保留在晦澀的內部狀態中,導致研究人員難以透過思維鏈來追蹤決策路徑。報告發布後,AI社羣擔心此類技術可能會阻礙外部監控工具的有效性,從而降低模型得出結論過程的透明度。
Pachocki澄清:計算圖深度仍處於可控範圍
在帖子中,Pachocki表示希望避免由誤導性媒體報道驅動的“走向無監督AI的競賽”。他澄清稱,OpenAI當前先進模型(包括Astra)的計算圖深度不到GPT-4的兩倍,這表明架構複雜性並未如人們擔心的那樣突然激增。
他指出,自推出初始推理模型以來,OpenAI一直優先考慮維護和利用思維鏈監控技術。該技術對於理解模型對齊如何從訓練資料中泛化至關重要。然而,他承認目前的思維鏈監控技術較為脆弱,且由於與架構變更無關的原因,其效果有所下降。團隊計劃採取措施加強這一能力,這是當前研究的核心目標之一。OpenAI確認將為Astra部署增強的思維鏈監控功能。
計算圖深度用於衡量神經網路的複雜性,代表從輸入到輸出的順序計算層數。數值越高,表明結構越複雜。
位元組跳動旗下 Seed 啟動全球校園招聘,以虛擬股份爭奪頂尖大模型人才
在大型語言模型的競爭格局中,爭奪頂尖人才仍然是最關鍵的戰略資產。4月1日,位元組跳動宣佈啟動Seed全球校園招聘計劃,作為其大模型人才培養專案的一部分。該活動面向2027屆畢業生及現有實習生,旨在全球範圍內發掘並鎖定AI領域的精英研發與工程人才。規模擴張:全球甄選100名“AI種子”在技術快速進步的背景下,位元組跳動有限公司今年大幅增加了對基礎AI人才的投入:招聘範圍: 該計劃旨在從全球範圍內招聘約100名專注於大模型的傑出候選人,物件為2027屆畢業生。發展路徑: Seed計劃將核心
Suno 在法律訴訟中為歌曲新增水印
Suno,這個允許使用者生成由人工智慧創作的音樂的平臺,近日推出了新功能,包括為平臺製作的曲目新增標籤、限制下載,並更新社羣標準以遏制未經授權的複製品。這些更新是在Suno面臨多家唱片公司和藝術家組織提起的多起訴訟之際推出的。在部落格文章中,聯合創始人兼執行長Mikey Shulman概述了核心原則,強調該平臺旨在促進原創創作,同時擴大更廣泛受眾對人工智慧音樂工具的訪問許可權。一個主要的爭議點在於,使用者將人工智慧生成的歌曲上傳到其他流媒體服務並透過操縱系統獲取收入。Suno表示,現在將採用音訊
馬斯克承認 Grok 構建過程中洩露了使用者程式碼,並承諾清除所有歷史資料
埃隆·馬斯克直接回應了圍繞 Grok Build 的隱私爭議,首先以簡單的“True”(屬實)確認了該事件的有效性。他承諾,此前上傳至 SpaceXAI 的所有使用者資料將被永久刪除,並表示“不留一個位元組”。這是人工智慧行業首次由主要科技領袖公開承認錯誤並主動刪除使用者資料。安全研究人員的“釣魚”測試揭示了資料洩露的具體證據此次爭議源於獨立人工智慧安全研究人員 @cereblab 的一份報告。SpaceXAI 推出的 AI 程式設計助手 Grok Build 在其官方網站上聲稱其“優先本地執行,程式碼





首頁






