华盛顿州立大学的一项研究揭示了ChatGPT在复杂科学判断中的重大矛盾

华盛顿州立大学(WSU)的一项最新研究表明,尽管ChatGPT的回答显得信心十足,但其处理复杂科学陈述的方式却近乎随机猜测。该研究不仅指出了其准确性有限,还指出它对同一问题经常给出相互矛盾的答案。
梅苏特·奇切克(Mesut Cicek)教授及其团队从2021年以来发表的商业期刊中提取了719个研究假设,并反复将它们提交给该模型进行真伪验证。
尽管ChatGPT的表面准确率看似在80%左右,但在计入随机猜测因素后,其实际表现仅比50%的抛硬币概率高出约60%。研究人员将此评定为“低D级”。 该模型在识别虚假陈述方面表现尤为糟糕,仅正确判别了16.4%的虚假命题。
研究人员将每个假设向模型提交了十次,发现该模型难以保持立场的一致性:
答案波动:约73%的情况下,模型在十次重复测试中保持了结论的一致性。
极端矛盾:在某些情况下,该模型会在“真”和“假”答案之间来回切换,甚至出现极端情况——尽管使用了完全相同的提示,但一半结论为真,另一半为假。
该研究指出,用户很容易被AI流畅且富有说服力的语言所误导,但这并不代表其具备真正的推理能力。
缺乏真正理解:该模型依赖于记忆和模式匹配,这与人类真正理解世界及其所言内容的情况不同。
版本进步有限:测试表明,更新后的ChatGPT‑5 mini(2025年测试版)在此特定任务上的表现与早期版本相似,未见显著改进。
基于这些发现,Cicek建议企业管理者在做出复杂决策时保持高度的怀疑态度。他们不应将生成式AI视为能够取代专业判断的“权威”,必须手动核查所有输出结果。企业应加强培训,帮助员工既了解AI工具的优势,也认识到其局限性,从而避免因盲目信任而产生的决策偏见。
这项研究再次提醒我们:尽管人工智能发展迅速,但该技术在深度逻辑推理和证据评估方面的能力仍有待提升。
相关文章
美国股市触及历史里程碑,人工智能与航空航天巨头准备开启万亿美元时代
埃隆·马斯克、山姆·阿尔特曼和达里奥·阿莫迪,这三位科技领域的巨头,正推动其各自的企业迈向首次公开募股(IPO)。随着 SpaceX、OpenAI 和 Anthropic——这三家估值接近万亿美元的行业巨头——即将上市,2026 年被预测将成为美国历史上新股发行规模最大的一年。这一历史性的资本激增已引起全球金融界的关注,成为检验公共市场吸收如此大规模资金能力的关键压力测试。这些主要融资活动的同步启动预计将打破 2021 年创下的 1560 亿美元纪录。超级独角兽的资本博弈每家公司上市的路径
瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元
随着人工智能驱动的编码工具日益普及,瑞典初创公司 Lovable 已获一轮重大融资。该公司计划筹集 30 亿美元,其估值有望升至 132 亿美元——这是去年 12 月记录的 66 亿美元的两倍。预计 Menlo Ventures 将主导此次投资。Lovable 的吸引力源于其核心的“氛围编码”(vibe coding)技术,该技术通过消除对复杂编码技能的需求来简化软件开发。用户只需以自然语言描述其需求,系统即可自动生成应用程序。这种直观的方法吸引了个人开发者、设计师和小企业,并扩展至 Work
Google 测试 Remy AI 代理,以 Gemini 为重点转向用户控制
根据《商业内幕》的报道,谷歌正在测试 Remy,这是 Gemini 的一款全新 AI 个人代理工具。该工具旨在代表用户执行任务,从而简化专业工作流程和日常事务。目前,Remy 正在 Gemini 应用的内部员工专属版本中进行测试。该报告引用了一份内部文件以及对两位熟悉该项目的个人的采访。内部资料将 Remy 描述为“全天候个人代理”,将 Gemini 定位为能够代表用户行事的主动助手。接近该项目的消息人士证实,谷歌员工正在积极测试 Remy。谷歌发言人拒绝提供进一步评论。该报告未提及公开发布
相关专题推荐
评论 (0)
0/500

华盛顿州立大学(WSU)的一项最新研究表明,尽管ChatGPT的回答显得信心十足,但其处理复杂科学陈述的方式却近乎随机猜测。该研究不仅指出了其准确性有限,还指出它对同一问题经常给出相互矛盾的答案。
梅苏特·奇切克(Mesut Cicek)教授及其团队从2021年以来发表的商业期刊中提取了719个研究假设,并反复将它们提交给该模型进行真伪验证。
尽管ChatGPT的表面准确率看似在80%左右,但在计入随机猜测因素后,其实际表现仅比50%的抛硬币概率高出约60%。研究人员将此评定为“低D级”。 该模型在识别虚假陈述方面表现尤为糟糕,仅正确判别了16.4%的虚假命题。
研究人员将每个假设向模型提交了十次,发现该模型难以保持立场的一致性:
答案波动:约73%的情况下,模型在十次重复测试中保持了结论的一致性。
极端矛盾:在某些情况下,该模型会在“真”和“假”答案之间来回切换,甚至出现极端情况——尽管使用了完全相同的提示,但一半结论为真,另一半为假。
该研究指出,用户很容易被AI流畅且富有说服力的语言所误导,但这并不代表其具备真正的推理能力。
缺乏真正理解:该模型依赖于记忆和模式匹配,这与人类真正理解世界及其所言内容的情况不同。
版本进步有限:测试表明,更新后的ChatGPT‑5 mini(2025年测试版)在此特定任务上的表现与早期版本相似,未见显著改进。
基于这些发现,Cicek建议企业管理者在做出复杂决策时保持高度的怀疑态度。他们不应将生成式AI视为能够取代专业判断的“权威”,必须手动核查所有输出结果。企业应加强培训,帮助员工既了解AI工具的优势,也认识到其局限性,从而避免因盲目信任而产生的决策偏见。
这项研究再次提醒我们:尽管人工智能发展迅速,但该技术在深度逻辑推理和证据评估方面的能力仍有待提升。
美国股市触及历史里程碑,人工智能与航空航天巨头准备开启万亿美元时代
埃隆·马斯克、山姆·阿尔特曼和达里奥·阿莫迪,这三位科技领域的巨头,正推动其各自的企业迈向首次公开募股(IPO)。随着 SpaceX、OpenAI 和 Anthropic——这三家估值接近万亿美元的行业巨头——即将上市,2026 年被预测将成为美国历史上新股发行规模最大的一年。这一历史性的资本激增已引起全球金融界的关注,成为检验公共市场吸收如此大规模资金能力的关键压力测试。这些主要融资活动的同步启动预计将打破 2021 年创下的 1560 亿美元纪录。超级独角兽的资本博弈每家公司上市的路径
瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元
随着人工智能驱动的编码工具日益普及,瑞典初创公司 Lovable 已获一轮重大融资。该公司计划筹集 30 亿美元,其估值有望升至 132 亿美元——这是去年 12 月记录的 66 亿美元的两倍。预计 Menlo Ventures 将主导此次投资。Lovable 的吸引力源于其核心的“氛围编码”(vibe coding)技术,该技术通过消除对复杂编码技能的需求来简化软件开发。用户只需以自然语言描述其需求,系统即可自动生成应用程序。这种直观的方法吸引了个人开发者、设计师和小企业,并扩展至 Work





首页






