華盛頓州立大學研究揭露 ChatGPT 在複雜科學判斷中的重大矛盾

華盛頓州立大學(WSU)最近的一項研究顯示,儘管 ChatGPT 回應時顯得信心十足,但其處理複雜科學陳述的方式卻近乎隨機猜測。這項研究不僅凸顯其準確性有限,還指出針對同一問題常會給出相互矛盾的答案。
梅蘇特·奇切克(Mesut Cicek)教授及其團隊從 2021 年以來發表的商業期刊中萃取了 719 項研究假設,並反覆將其提交給該模型進行真實性驗證。
儘管 ChatGPT 的表面準確度看似約為 80%,但在計入隨機猜測因素後,其實際表現僅比 50% 機率的擲硬幣結果高出約 60%。研究人員將此評定為「低 D 級分數」。 該模型在識別虛假陳述方面的表現尤為糟糕,僅能正確判斷16.4%的虛假命題。
研究人員將每個假設提交給模型十次,發現該模型難以維持一致的立場:
答案波動:約 73% 的案例中,該模型在十次重複測試中能維持一致的結論。
極端矛盾:在某些情況下,該模型會在「真」與「假」的答案之間交替變換,甚至出現極端情況——儘管使用完全相同的提示語,但一半結論為真,另一半卻為假。
該研究指出,使用者容易被 AI 流暢且具說服力的語言所誤導,但這並不代表其具備真正的推理能力。
缺乏真正的理解:該模型依賴記憶與模式匹配,有別於人類能真正理解世界及其所言之事。
版本進展有限:測試顯示,更新後的 ChatGPT‑5 mini(於 2025 年進行測試)在此特定任務上的表現與早期版本相仿,並無顯著改善。
基於這些發現,Cicek 建議企業管理者在做出複雜決策時應保持高度的懷疑態度。他們不應將生成式 AI 視為能取代專業判斷的「權威」,且必須手動驗證所有輸出結果。組織應加強培訓,協助員工理解 AI 工具的優勢與局限,避免因盲目信任而產生決策偏見。
這項研究再次提醒我們,儘管人工智慧發展迅速,但該技術在深度邏輯推理與證據評估方面的能力仍有待提升。
相關文章
美國股市觸及歷史裡程碑,人工智慧與航空航天巨頭準備開啟萬億美元時代
埃隆·馬斯克、山姆·阿爾特曼和達里奧·阿莫迪,這三位科技領域的巨頭,正推動其各自的企業邁向首次公開募股(IPO)。隨著 SpaceX、OpenAI 和 Anthropic——這三家估值接近萬億美元的行業巨頭——即將上市,2026 年被預測將成為美國曆史上新股發行規模最大的一年。這一歷史性的資本激增已引起全球金融界的關注,成為檢驗公共市場吸收如此大規模資金能力的關鍵壓力測試。這些主要融資活動的同步啟動預計將打破 2021 年創下的 1560 億美元紀錄。超級獨角獸的資本博弈每家公司上市的路徑
瑞典人工智慧初創公司Lovable Eyes在完成主要融資輪後估值達132億美元
隨著人工智慧驅動的編碼工具日益普及,瑞典初創公司 Lovable 已獲一輪重大融資。該公司計劃籌集 30 億美元,其估值有望升至 132 億美元——這是去年 12 月記錄的 66 億美元的兩倍。預計 Menlo Ventures 將主導此次投資。Lovable 的吸引力源於其核心的“氛圍編碼”(vibe coding)技術,該技術透過消除對複雜編碼技能的需求來簡化軟體開發。使用者只需以自然語言描述其需求,系統即可自動生成應用程式。這種直觀的方法吸引了個人開發者、設計師和小企業,並擴充套件至 Work
Google 測試 Remy AI 代理,以 Gemini 為重點轉向使用者控制
根據《商業內幕》的報道,谷歌正在測試 Remy,這是 Gemini 的一款全新 AI 個人代理工具。該工具旨在代表使用者執行任務,從而簡化專業工作流程和日常事務。目前,Remy 正在 Gemini 應用的內部員工專屬版本中進行測試。該報告引用了一份內部檔案以及對兩位熟悉該專案的個人的採訪。內部資料將 Remy 描述為“全天候個人代理”,將 Gemini 定位為能夠代表使用者行事的主動助手。接近該專案的訊息人士證實,谷歌員工正在積極測試 Remy。谷歌發言人拒絕提供進一步評論。該報告未提及公開發布
相關專題推薦
評論 (0)
0/500

華盛頓州立大學(WSU)最近的一項研究顯示,儘管 ChatGPT 回應時顯得信心十足,但其處理複雜科學陳述的方式卻近乎隨機猜測。這項研究不僅凸顯其準確性有限,還指出針對同一問題常會給出相互矛盾的答案。
梅蘇特·奇切克(Mesut Cicek)教授及其團隊從 2021 年以來發表的商業期刊中萃取了 719 項研究假設,並反覆將其提交給該模型進行真實性驗證。
儘管 ChatGPT 的表面準確度看似約為 80%,但在計入隨機猜測因素後,其實際表現僅比 50% 機率的擲硬幣結果高出約 60%。研究人員將此評定為「低 D 級分數」。 該模型在識別虛假陳述方面的表現尤為糟糕,僅能正確判斷16.4%的虛假命題。
研究人員將每個假設提交給模型十次,發現該模型難以維持一致的立場:
答案波動:約 73% 的案例中,該模型在十次重複測試中能維持一致的結論。
極端矛盾:在某些情況下,該模型會在「真」與「假」的答案之間交替變換,甚至出現極端情況——儘管使用完全相同的提示語,但一半結論為真,另一半卻為假。
該研究指出,使用者容易被 AI 流暢且具說服力的語言所誤導,但這並不代表其具備真正的推理能力。
缺乏真正的理解:該模型依賴記憶與模式匹配,有別於人類能真正理解世界及其所言之事。
版本進展有限:測試顯示,更新後的 ChatGPT‑5 mini(於 2025 年進行測試)在此特定任務上的表現與早期版本相仿,並無顯著改善。
基於這些發現,Cicek 建議企業管理者在做出複雜決策時應保持高度的懷疑態度。他們不應將生成式 AI 視為能取代專業判斷的「權威」,且必須手動驗證所有輸出結果。組織應加強培訓,協助員工理解 AI 工具的優勢與局限,避免因盲目信任而產生決策偏見。
這項研究再次提醒我們,儘管人工智慧發展迅速,但該技術在深度邏輯推理與證據評估方面的能力仍有待提升。
美國股市觸及歷史裡程碑,人工智慧與航空航天巨頭準備開啟萬億美元時代
埃隆·馬斯克、山姆·阿爾特曼和達里奧·阿莫迪,這三位科技領域的巨頭,正推動其各自的企業邁向首次公開募股(IPO)。隨著 SpaceX、OpenAI 和 Anthropic——這三家估值接近萬億美元的行業巨頭——即將上市,2026 年被預測將成為美國曆史上新股發行規模最大的一年。這一歷史性的資本激增已引起全球金融界的關注,成為檢驗公共市場吸收如此大規模資金能力的關鍵壓力測試。這些主要融資活動的同步啟動預計將打破 2021 年創下的 1560 億美元紀錄。超級獨角獸的資本博弈每家公司上市的路徑
瑞典人工智慧初創公司Lovable Eyes在完成主要融資輪後估值達132億美元
隨著人工智慧驅動的編碼工具日益普及,瑞典初創公司 Lovable 已獲一輪重大融資。該公司計劃籌集 30 億美元,其估值有望升至 132 億美元——這是去年 12 月記錄的 66 億美元的兩倍。預計 Menlo Ventures 將主導此次投資。Lovable 的吸引力源於其核心的“氛圍編碼”(vibe coding)技術,該技術透過消除對複雜編碼技能的需求來簡化軟體開發。使用者只需以自然語言描述其需求,系統即可自動生成應用程式。這種直觀的方法吸引了個人開發者、設計師和小企業,並擴充套件至 Work





首頁






