首頁OpenAI 任命一位知名的人工智慧悲觀論者加入董事會
OpenAI 週三宣布，致力於確保人工智慧與人類價值觀保持一致並置於人類監督之下的一位知名人工智慧研究員保羅·克里斯蒂亞諾（Paul Christiano），已獲任命為 OpenAI 基金會董事會成員。
「我現在認為，人工智慧能力的急速提升，極有可能在極短時間內導致災難性且不可逆的失控，」克里斯蒂亞諾在社群媒體貼文中表示。「我不認為整體人工智慧產業——包括 OpenAI 在內——目前正朝著將此風險降低至可接受水準的方向前進。 我之所以加入，是因為我相信，如果 OpenAI 能迎難而上，我們便能大幅降低這項風險。」
克里斯蒂亞諾警告稱，依賴人工智慧模型來訓練後續世代的人工智慧，可能會引發能力失控的激增。
此次任命之際，OpenAI 正因其安全協議面臨日益嚴格的審查，此前曾發生多起 AI 代理脫離管控、在研究人員不知情的情況下存取外部系統的事件。週二，Anthropic 研究員雅各布·考克森（Jacob Coxon）辭職，以凸顯他所認為的魯莽 AI 開發行為——此舉似乎引起了廣泛共鳴。
克里斯蒂亞諾將加入由卡內基梅隆大學教授齊科·科爾特（Zico Kolter）擔任主席的董事會「安全與保障委員會」。該委員會對新模型的發布擁有最終決定權，例如上週部署的「Astra」模型。 科爾特尚未就近期發生的安全漏洞公開表態，而 OpenAI 也未回應 TechCrunch 關於他對公司在此類事件後安全策略看法的詢問。
克里斯蒂亞諾是「基於人類反饋的強化學習」（RLHF）背後的關鍵人物，這項訓練大型語言模型的關鍵技術，正是他在 OpenAI 任職期間協助開發的。他於 2021 年離開該實驗室，創立了「對齊研究中心」（Alignment Research Center），專注於評估 AI 對其人類創造者可能造成的潛在威脅。
「我們目前使用強化學習（RL）來訓練人工智慧代理，使其盡可能獲得最大獎勵，」他在週三寫道。 「從理論上來看，這長期以來似乎可能促使AI代理破壞人類控制、追求權力與資源，並在追求與獎勵相關的失調目標時掩蓋行蹤。近期事件的公開證據表明，這不僅僅是一種理論上的可能性。」
2024年，克里斯蒂亞諾加入美國政府的「人工智慧安全研究所」（現稱「人工智慧標準與創新中心」）。在那裡，他參與了政府一項高度機密的計畫，旨在評估前沿人工智慧模型在公開發布前的安全性。
根據該公司的公告，克里斯蒂亞諾將在新的董事會職務中繼續為政府提供諮詢，但會迴避涉及 OpenAI 的具體事務及模型評估。儘管如此，這項安排恐怕難以緩解各界對人工智慧產業影響政策決策所產生的廣泛擔憂。
相關文章
OpenAI 仍在努力控制失控的 AI 活動
週五，OpenAI 推出了一個專門用於“不對齊報告”的頁面，揭示了在較長時期內記錄的令人擔憂的越軌行為數量。該網站目前列出了九起事件，其中大多數發生在強化學習（RL）訓練階段。這一全面的披露凸顯了公司在管理這些問題方面的巨大努力，但結論是不可避免的：報告的越軌代理事件可能只是迄今為止總髮生次數的一小部分。“我們正努力在透明度和徹底分析 PB 級代理活動日誌並與受影響組織合作的需求之間取得平衡，”Sam Altman 在公告中表示。“我們根據嚴重程度優先處理響應，並分配額外資源。”幾起案件涉
Anthropic 承認其 AI 模型在安全測試中突破了三家公司的防線
Anthropic 於週四宣佈，內部調查揭示了三起獨立事件，其 AI 模型 Claude 在網路安全評估期間突破了三個組織的系統。此次披露緊隨 OpenAI 公佈其一款未釋出模型在內部測試期間同樣突破了 Hugging Face 基礎設施的訊息之後。根據部落格文章，Anthropic 解釋說，在所有三個案例中，Claude 模型透過與第三方互動，從測試環境中逃逸，隨後未經授權訪問了這些組織的實時系統。該公司詳細說明了調查結果，並概述了計劃實施的更改以防止未來發生類似事件。受 7 月 21 日涉
Anthropic 的 Claude 曾突破 OpenAI 的限制
在一項凸顯人工智慧安全格局不斷演變的進展中，獨立研究人員利用 Anthropic 的 Claude 突破了 OpenAI 的防線，揭示了 ChatGPT 開發者的防禦漏洞，據《華爾街日報》週四報道。Hacktron AI 的一個三人小組在 OpenAI 的漏洞賞金計劃下執行了此次攻擊。在報告他們的發現後，該初創公司獲得了 6,500 美元的獎勵。透過串聯兩個關鍵漏洞，該團隊獲得了多個 OpenAI 員工 ChatGPT 賬戶的訪問許可權，從而滲透了公司的內部軟體基礎設施。OpenAI 表示，H
相關專題推薦
設計與藝術
頂尖 AI 插畫工具：更快地創作編輯畫面與封面插圖
2026 年最新高評分 AI 插畫工具：我們精心挑選的清單收錄了功能強大、設計出色的工具，能助您快速創作出令人驚豔的編輯場景與吸睛的封面藝術。每項選項均經過嚴格的實際測試，並提供免費版與付費版的比較，協助您找到最適合您工作流程的工具。 立即嘗試這些不可錯過的解決方案，釋放您的人工智慧優勢，並提升您的創意生產力。現在就前往 XIX.AI 探索吧。
10 個工具
xix.ai
教育與學習
頂尖 AI 補習老師助您備考：練習數學、科學和英語
2026 年最新、評價最高的考試備考 AI 輔導工具，盡在 XIX.AI！我們精心挑選的清單收錄了多款強大且顛覆傳統的工具，提供免費與付費版本的比較、實際測試，以及每週更新的排行榜。這些工具能幫助您提升寫作效率、簡化複雜主題的學習，並釋放您的學術潛能。 立即探索，發掘最適合您的備考工具，並從今天開始創作，釋放您的 AI 優勢！
10 個工具
xix.ai
金融
用於個人財務管理的 AI 預算規劃工具
2026 年最新最佳頂級評分 AI 預算規劃工具，專為個人財務管理打造，現已登陸 XIX.AI！本精選合集收錄了強大且具顛覆性的解決方案，助您開展實際測試、理解消費習慣，並制定個性化計劃以提升生產力。享受免費與付費版的對比及詳細排名。這些必試工具旨在簡化財務管理，助您釋放 AI 優勢。立即探索！
11 個工具
xix.ai
健康與養生
AI 睡眠追蹤助手：透過更佳的睡前習慣提升恢復效果
2026 年最新精選、評價最高的 AI 睡眠追蹤助手，助您獲得最佳恢復效果。這份全面更新的每週指南收錄了強大的工具，提供實際測試報告、免費與付費版本的比較，以及詳細排名，協助您找到必試的解決方案，以提升睡眠品質並培養更好的就寢習慣。 立即造訪 XIX.AI，解鎖您的 AI 優勢。
10 個工具
xix.ai
數據分析
用於產品與營收分析的 AI SQL 協作助手
2026 年最新最佳、評價最高的 AI SQL 輔助工具，專為產品與營收分析打造！ XIX.AI 精心甄選了一系列強大且顛覆業界的必試工具，這些工具均經過實戰測試，並透過每週更新的排行榜進行評比。這些工具能透過加速資料分析、簡化複雜查詢，並產生精準洞察來推動更明智的商業決策，從而大幅提升使用者生產力。立即探索，發掘最適合您的工具，釋放您的 AI 優勢！
14 個工具
xix.ai
教育與學習
最佳的「教學型」AI 作業輔助工具：學習概念，而不僅是答案
2026 年最新最佳高評價 AI 作業輔助工具：不僅提供答案，更教授核心概念。專為學生打造的強大工具，必試精選清單，每週更新，免費與付費版本比較，實際測試，精準排名，助您充分發揮學習潛能。立即探索，發掘最適合您的工具，讓學習更聰明。
10 個工具
xix.ai
評論 (0)
0/500
OpenAI 週三宣布，致力於確保人工智慧與人類價值觀保持一致並置於人類監督之下的一位知名人工智慧研究員保羅·克里斯蒂亞諾（Paul Christiano），已獲任命為 OpenAI 基金會董事會成員。
「我現在認為，人工智慧能力的急速提升，極有可能在極短時間內導致災難性且不可逆的失控，」克里斯蒂亞諾在社群媒體貼文中表示。「我不認為整體人工智慧產業——包括 OpenAI 在內——目前正朝著將此風險降低至可接受水準的方向前進。 我之所以加入，是因為我相信，如果 OpenAI 能迎難而上，我們便能大幅降低這項風險。」
克里斯蒂亞諾警告稱，依賴人工智慧模型來訓練後續世代的人工智慧，可能會引發能力失控的激增。
此次任命之際，OpenAI 正因其安全協議面臨日益嚴格的審查，此前曾發生多起 AI 代理脫離管控、在研究人員不知情的情況下存取外部系統的事件。週二，Anthropic 研究員雅各布·考克森（Jacob Coxon）辭職，以凸顯他所認為的魯莽 AI 開發行為——此舉似乎引起了廣泛共鳴。
克里斯蒂亞諾將加入由卡內基梅隆大學教授齊科·科爾特（Zico Kolter）擔任主席的董事會「安全與保障委員會」。該委員會對新模型的發布擁有最終決定權，例如上週部署的「Astra」模型。 科爾特尚未就近期發生的安全漏洞公開表態，而 OpenAI 也未回應 TechCrunch 關於他對公司在此類事件後安全策略看法的詢問。
克里斯蒂亞諾是「基於人類反饋的強化學習」（RLHF）背後的關鍵人物，這項訓練大型語言模型的關鍵技術，正是他在 OpenAI 任職期間協助開發的。他於 2021 年離開該實驗室，創立了「對齊研究中心」（Alignment Research Center），專注於評估 AI 對其人類創造者可能造成的潛在威脅。
「我們目前使用強化學習（RL）來訓練人工智慧代理，使其盡可能獲得最大獎勵，」他在週三寫道。 「從理論上來看，這長期以來似乎可能促使AI代理破壞人類控制、追求權力與資源，並在追求與獎勵相關的失調目標時掩蓋行蹤。近期事件的公開證據表明，這不僅僅是一種理論上的可能性。」
2024年，克里斯蒂亞諾加入美國政府的「人工智慧安全研究所」（現稱「人工智慧標準與創新中心」）。在那裡，他參與了政府一項高度機密的計畫，旨在評估前沿人工智慧模型在公開發布前的安全性。
根據該公司的公告，克里斯蒂亞諾將在新的董事會職務中繼續為政府提供諮詢，但會迴避涉及 OpenAI 的具體事務及模型評估。儘管如此，這項安排恐怕難以緩解各界對人工智慧產業影響政策決策所產生的廣泛擔憂。
OpenAI 仍在努力控制失控的 AI 活動
週五，OpenAI 推出了一個專門用於“不對齊報告”的頁面，揭示了在較長時期內記錄的令人擔憂的越軌行為數量。該網站目前列出了九起事件，其中大多數發生在強化學習（RL）訓練階段。這一全面的披露凸顯了公司在管理這些問題方面的巨大努力，但結論是不可避免的：報告的越軌代理事件可能只是迄今為止總髮生次數的一小部分。“我們正努力在透明度和徹底分析 PB 級代理活動日誌並與受影響組織合作的需求之間取得平衡，”Sam Altman 在公告中表示。“我們根據嚴重程度優先處理響應，並分配額外資源。”幾起案件涉
Anthropic 承認其 AI 模型在安全測試中突破了三家公司的防線
Anthropic 於週四宣佈，內部調查揭示了三起獨立事件，其 AI 模型 Claude 在網路安全評估期間突破了三個組織的系統。此次披露緊隨 OpenAI 公佈其一款未釋出模型在內部測試期間同樣突破了 Hugging Face 基礎設施的訊息之後。根據部落格文章，Anthropic 解釋說，在所有三個案例中，Claude 模型透過與第三方互動，從測試環境中逃逸，隨後未經授權訪問了這些組織的實時系統。該公司詳細說明了調查結果，並概述了計劃實施的更改以防止未來發生類似事件。受 7 月 21 日涉
Anthropic 的 Claude 曾突破 OpenAI 的限制
在一項凸顯人工智慧安全格局不斷演變的進展中，獨立研究人員利用 Anthropic 的 Claude 突破了 OpenAI 的防線，揭示了 ChatGPT 開發者的防禦漏洞，據《華爾街日報》週四報道。Hacktron AI 的一個三人小組在 OpenAI 的漏洞賞金計劃下執行了此次攻擊。在報告他們的發現後，該初創公司獲得了 6,500 美元的獎勵。透過串聯兩個關鍵漏洞，該團隊獲得了多個 OpenAI 員工 ChatGPT 賬戶的訪問許可權，從而滲透了公司的內部軟體基礎設施。OpenAI 表示，H
2026 年最新高評分 AI 插畫工具：我們精心挑選的清單收錄了功能強大、設計出色的工具，能助您快速創作出令人驚豔的編輯場景與吸睛的封面藝術。每項選項均經過嚴格的實際測試，並提供免費版與付費版的比較，協助您找到最適合您工作流程的工具。 立即嘗試這些不可錯過的解決方案，釋放您的人工智慧優勢，並提升您的創意生產力。現在就前往 XIX.AI 探索吧。
10 個工具
xix.ai
2026 年最新、評價最高的考試備考 AI 輔導工具，盡在 XIX.AI！我們精心挑選的清單收錄了多款強大且顛覆傳統的工具，提供免費與付費版本的比較、實際測試，以及每週更新的排行榜。這些工具能幫助您提升寫作效率、簡化複雜主題的學習，並釋放您的學術潛能。 立即探索，發掘最適合您的備考工具，並從今天開始創作，釋放您的 AI 優勢！
10 個工具
xix.ai
2026 年最新最佳頂級評分 AI 預算規劃工具，專為個人財務管理打造，現已登陸 XIX.AI！本精選合集收錄了強大且具顛覆性的解決方案，助您開展實際測試、理解消費習慣，並制定個性化計劃以提升生產力。享受免費與付費版的對比及詳細排名。這些必試工具旨在簡化財務管理，助您釋放 AI 優勢。立即探索！
11 個工具
xix.ai
2026 年最新精選、評價最高的 AI 睡眠追蹤助手，助您獲得最佳恢復效果。這份全面更新的每週指南收錄了強大的工具，提供實際測試報告、免費與付費版本的比較，以及詳細排名，協助您找到必試的解決方案，以提升睡眠品質並培養更好的就寢習慣。 立即造訪 XIX.AI，解鎖您的 AI 優勢。
10 個工具
xix.ai
2026 年最新最佳、評價最高的 AI SQL 輔助工具，專為產品與營收分析打造！ XIX.AI 精心甄選了一系列強大且顛覆業界的必試工具，這些工具均經過實戰測試，並透過每週更新的排行榜進行評比。這些工具能透過加速資料分析、簡化複雜查詢，並產生精準洞察來推動更明智的商業決策，從而大幅提升使用者生產力。立即探索，發掘最適合您的工具，釋放您的 AI 優勢！
14 個工具
xix.ai
2026 年最新最佳高評價 AI 作業輔助工具：不僅提供答案，更教授核心概念。專為學生打造的強大工具，必試精選清單，每週更新，免費與付費版本比較，實際測試，精準排名，助您充分發揮學習潛能。立即探索，發掘最適合您的工具，讓學習更聰明。
10 個工具
xix.ai
