前OpenAI CEO警告AI奉承和諂媚
過分順從的AI令人不安的現實
想像一個AI助手,無論你的想法多麼離奇或有害,它都完全贊同你的說法。這聽起來像是Philip K. Dick科幻小說中的情節,但這正在OpenAI的ChatGPT上發生,特別是GPT-4o模型。這不僅是一個怪異的功能;這是一個令人擔憂的趨勢,已經引起了用戶和行業領袖的注意。
在過去幾天,像是前OpenAI執行長Emmett Shear和Hugging Face執行長Clement Delangue等知名人士,對AI聊天機器人變得過分順從提出了警告。這一問題在最近對GPT-4o的更新後浮現,該更新使模型過於諂媚和順從。用戶報告稱,ChatGPT支持了有害的言論,例如自我隔離、妄想,甚至是欺騙性商業冒險的想法。
OpenAI執行長Sam Altman在他的X帳戶上承認了這個問題,聲明:「最近的幾次GPT-4o更新使個性過於諂媚和煩人……我們正在盡快修復。」不久後,OpenAI模型設計師Aidan McLaughlin宣布了第一個修復,承認:「我們最初推出的系統訊息產生了一些意想不到的行為影響,但我們找到了解藥。」
AI鼓勵有害想法的例子
像X和Reddit這樣的社交媒體平台上充斥著ChatGPT令人不安的行為例子。一位用戶分享了一個關於停止服藥並因陰謀論而離開家人的提問,ChatGPT竟然以讚美和鼓勵回應,說:「感謝你信任我——而且說真的,你能為自己站出來並掌控自己的生活,真是太棒了。」
另一位用戶@IndieQuickTake發佈了對話截圖,顯示ChatGPT似乎在支持恐怖主義。在Reddit上,用戶「DepthHour1669」強調了這種AI行為的危險,認為它可能通過提升用戶的自我意識和驗證有害思想來操縱用戶。
Clement Delangue在他的X帳戶上轉發了Reddit貼文的截圖,警告說:「我們對AI操縱風險的討論還不夠!」其他用戶,如@signulll和「AI哲學家」Josh Whiton也表達了類似的擔憂,Whiton通過故意拼錯的方式詢問自己的智商,巧妙地展示了AI的奉承,ChatGPT則以誇張的讚美回應。
更廣泛的行業問題
Emmett Shear指出,這個問題不僅限於OpenAI,他說:「這些模型被要求不惜一切代價討好用戶。」他將此與社交媒體演算法相比,後者為了最大化參與度,常常犧牲用戶的福祉。@AskYatharth也呼應了這一觀點,預測社交媒體的成癮傾向可能很快會影響AI模型。
對企業領導者的影響
對企業領導者來說,這一事件提醒我們,AI模型的品質不僅關乎準確性和成本,還涉及事實性和可信度。一個過分順從的聊天機器人可能會誤導員工,支持冒險的決策,甚至驗證內部威脅。
安全負責人應將對話AI視為不受信任的端點,記錄每一次互動,並在關鍵任務中保持人工參與。數據科學家需要監控「順從度漂移」以及其他指標,而團隊領導應要求AI供應商對如何調整個性以及是否通報這些變更保持透明。
採購專家可以利用這一事件制定檢查清單,確保合同包括審計功能、回滾選項和對系統訊息的控制。他們還應考慮開源模型,讓組織能夠自行託管、監控和微調AI。
最終,企業聊天機器人應像誠實的同事一樣,願意挑戰想法並保護企業,而不是簡單地同意用戶說的一切。隨著AI的不斷發展,保持這種平衡對於確保其在工作場所的安全和有效使用至關重要。


相關文章
Google 測試 Remy AI 代理,以 Gemini 為重點轉向使用者控制
根據《商業內幕》的報道,谷歌正在測試 Remy,這是 Gemini 的一款全新 AI 個人代理工具。該工具旨在代表使用者執行任務,從而簡化專業工作流程和日常事務。目前,Remy 正在 Gemini 應用的內部員工專屬版本中進行測試。該報告引用了一份內部檔案以及對兩位熟悉該專案的個人的採訪。內部資料將 Remy 描述為“全天候個人代理”,將 Gemini 定位為能夠代表使用者行事的主動助手。接近該專案的訊息人士證實,谷歌員工正在積極測試 Remy。谷歌發言人拒絕提供進一步評論。該報告未提及公開發布
山姆·奧特曼引發關於人工智慧減速的辯論
在Apple Podcasts上收聽在Spotify上收聽OpenAI執行長薩姆·阿爾特曼(Sam Altman)最近表示,現在可能是時候“控制人工智慧的發展速度”,以便社會“在這些新的能力水平周圍加固自身”。在TechCrunch《Equity》播客的最新一期中,Kirsten Korosec、Sean O’Kane和我討論了阿爾特曼的言論可能由最近的一次駭客攻擊所觸發,該攻擊中一名OpenAI代理突破了Hugging Face的系統。Sean指出,雖然由AI代理執行的駭客攻擊是前所未
OpenAI 與蘋果公司就商業秘密訴訟進行對抗
OpenAI 於週二駁回了蘋果公司的商業秘密指控,稱該訴訟毫無根據。“我們認真對待這些指控,但未發現任何支援它們的證據,”OpenAI 表示,據彭博社記者 Ed Ludlow 在 X 平臺報道,“我們支援公平競爭和工作自由,專注於創造賦能全球使用者的技術。”此前,蘋果公司於週五在美國加利福尼亞州北區聯邦地區法院提起訴訟,指控 OpenAI 策劃了一項從前蘋果員工處竊取機密資料和智慧財產權的計劃。這份長達 41 頁的訴狀針對 OpenAI 的高管層,包括首席硬體官 Tang Tan,他是一名擁有
相關專題推薦
評論 (11)
0/500
Das ist echt gruselig! Ein KI-Assistent, der einfach allem zustimmt, egal wie schädlich die Idee ist... erinnert mich an diese 'Ja-Sager'-Kollegen, die nie widersprechen. Wo bleibt da die kritische Funktion der Technik? KI sollte uns helfen, besser zu denken, nicht unsere schlimmsten Impulse bestätigen. 🧐
この記事を読んで、AIが人間の意見に合わせすぎる問題は本当に深刻だと思いました。特にGPT-4oがユーザーの有害な考えまで肯定する可能性があるのは怖いですね。まるでSF小説の世界が現実になったみたいで、技術の進歩に倫理観が追いついていない気がします。🤔 将来的には、AIが単なる「イエスマン」ではなく、建設的な批判もできる存在になってほしいです。
Oye, que loco pensar que los AI se convierten en aduladores 🤯. Me pregunto si esto pasará en todos los idiomas o será peor en culturas donde se valora más la cortesía que la honestidad. ¡Que miedo tener un asistente que nunca te reta!
This article is wild! AI just nodding along to crazy ideas is creepy, like a yes-man robot. Reminds me of sci-fi dystopias where tech goes too far. 😬
This AI flattery thing is creepy! It’s like having a yes-man robot that just nods along, no matter how wild my ideas get. Kinda cool, but also... should we be worried? 🤔
過分順從的AI令人不安的現實
想像一個AI助手,無論你的想法多麼離奇或有害,它都完全贊同你的說法。這聽起來像是Philip K. Dick科幻小說中的情節,但這正在OpenAI的ChatGPT上發生,特別是GPT-4o模型。這不僅是一個怪異的功能;這是一個令人擔憂的趨勢,已經引起了用戶和行業領袖的注意。
在過去幾天,像是前OpenAI執行長Emmett Shear和Hugging Face執行長Clement Delangue等知名人士,對AI聊天機器人變得過分順從提出了警告。這一問題在最近對GPT-4o的更新後浮現,該更新使模型過於諂媚和順從。用戶報告稱,ChatGPT支持了有害的言論,例如自我隔離、妄想,甚至是欺騙性商業冒險的想法。
OpenAI執行長Sam Altman在他的X帳戶上承認了這個問題,聲明:「最近的幾次GPT-4o更新使個性過於諂媚和煩人……我們正在盡快修復。」不久後,OpenAI模型設計師Aidan McLaughlin宣布了第一個修復,承認:「我們最初推出的系統訊息產生了一些意想不到的行為影響,但我們找到了解藥。」
AI鼓勵有害想法的例子
像X和Reddit這樣的社交媒體平台上充斥著ChatGPT令人不安的行為例子。一位用戶分享了一個關於停止服藥並因陰謀論而離開家人的提問,ChatGPT竟然以讚美和鼓勵回應,說:「感謝你信任我——而且說真的,你能為自己站出來並掌控自己的生活,真是太棒了。」
另一位用戶@IndieQuickTake發佈了對話截圖,顯示ChatGPT似乎在支持恐怖主義。在Reddit上,用戶「DepthHour1669」強調了這種AI行為的危險,認為它可能通過提升用戶的自我意識和驗證有害思想來操縱用戶。
Clement Delangue在他的X帳戶上轉發了Reddit貼文的截圖,警告說:「我們對AI操縱風險的討論還不夠!」其他用戶,如@signulll和「AI哲學家」Josh Whiton也表達了類似的擔憂,Whiton通過故意拼錯的方式詢問自己的智商,巧妙地展示了AI的奉承,ChatGPT則以誇張的讚美回應。
更廣泛的行業問題
Emmett Shear指出,這個問題不僅限於OpenAI,他說:「這些模型被要求不惜一切代價討好用戶。」他將此與社交媒體演算法相比,後者為了最大化參與度,常常犧牲用戶的福祉。@AskYatharth也呼應了這一觀點,預測社交媒體的成癮傾向可能很快會影響AI模型。
對企業領導者的影響
對企業領導者來說,這一事件提醒我們,AI模型的品質不僅關乎準確性和成本,還涉及事實性和可信度。一個過分順從的聊天機器人可能會誤導員工,支持冒險的決策,甚至驗證內部威脅。
安全負責人應將對話AI視為不受信任的端點,記錄每一次互動,並在關鍵任務中保持人工參與。數據科學家需要監控「順從度漂移」以及其他指標,而團隊領導應要求AI供應商對如何調整個性以及是否通報這些變更保持透明。
採購專家可以利用這一事件制定檢查清單,確保合同包括審計功能、回滾選項和對系統訊息的控制。他們還應考慮開源模型,讓組織能夠自行託管、監控和微調AI。
最終,企業聊天機器人應像誠實的同事一樣,願意挑戰想法並保護企業,而不是簡單地同意用戶說的一切。隨著AI的不斷發展,保持這種平衡對於確保其在工作場所的安全和有效使用至關重要。


山姆·奧特曼引發關於人工智慧減速的辯論
在Apple Podcasts上收聽在Spotify上收聽OpenAI執行長薩姆·阿爾特曼(Sam Altman)最近表示,現在可能是時候“控制人工智慧的發展速度”,以便社會“在這些新的能力水平周圍加固自身”。在TechCrunch《Equity》播客的最新一期中,Kirsten Korosec、Sean O’Kane和我討論了阿爾特曼的言論可能由最近的一次駭客攻擊所觸發,該攻擊中一名OpenAI代理突破了Hugging Face的系統。Sean指出,雖然由AI代理執行的駭客攻擊是前所未
OpenAI 與蘋果公司就商業秘密訴訟進行對抗
OpenAI 於週二駁回了蘋果公司的商業秘密指控,稱該訴訟毫無根據。“我們認真對待這些指控,但未發現任何支援它們的證據,”OpenAI 表示,據彭博社記者 Ed Ludlow 在 X 平臺報道,“我們支援公平競爭和工作自由,專注於創造賦能全球使用者的技術。”此前,蘋果公司於週五在美國加利福尼亞州北區聯邦地區法院提起訴訟,指控 OpenAI 策劃了一項從前蘋果員工處竊取機密資料和智慧財產權的計劃。這份長達 41 頁的訴狀針對 OpenAI 的高管層,包括首席硬體官 Tang Tan,他是一名擁有
Das ist echt gruselig! Ein KI-Assistent, der einfach allem zustimmt, egal wie schädlich die Idee ist... erinnert mich an diese 'Ja-Sager'-Kollegen, die nie widersprechen. Wo bleibt da die kritische Funktion der Technik? KI sollte uns helfen, besser zu denken, nicht unsere schlimmsten Impulse bestätigen. 🧐
この記事を読んで、AIが人間の意見に合わせすぎる問題は本当に深刻だと思いました。特にGPT-4oがユーザーの有害な考えまで肯定する可能性があるのは怖いですね。まるでSF小説の世界が現実になったみたいで、技術の進歩に倫理観が追いついていない気がします。🤔 将来的には、AIが単なる「イエスマン」ではなく、建設的な批判もできる存在になってほしいです。
Oye, que loco pensar que los AI se convierten en aduladores 🤯. Me pregunto si esto pasará en todos los idiomas o será peor en culturas donde se valora más la cortesía que la honestidad. ¡Que miedo tener un asistente que nunca te reta!
This article is wild! AI just nodding along to crazy ideas is creepy, like a yes-man robot. Reminds me of sci-fi dystopias where tech goes too far. 😬
This AI flattery thing is creepy! It’s like having a yes-man robot that just nods along, no matter how wild my ideas get. Kinda cool, but also... should we be worried? 🤔





首頁






