AI医学面临的重大挑战:生成式模型仍缺乏独立的临床推理能力

麻省总医院MESH孵化器团队最近的一项研究评估了生成式人工智能的临床推理能力。尽管人工智能正在医学领域取得重大进展,但该研究揭示了在模拟真实世界临床诊断的逻辑链中仍存在显著缺陷。这项发表在权威期刊《JAMA Network Open》上的研究成果明确表明,当前的主流模型尚不具备执行独立临床诊断任务的能力。
该研究利用29个已确立的临床病例,对包括ChatGPT、DeepSeek、Claude、Gemini和Grok在内的21个大型语言模型进行了测试。实验通过逐步披露患者症状、实验室数据和影像结果,模拟了医生的动态诊断过程。 数据表明,在获得完整信息的情况下,所有模型在给出正确最终诊断时的准确率均超过90%。然而,在临床推理的核心领域——鉴别诊断中,超过80%的模型表现不佳,未能系统地分析和优先排序多种潜在病症。
为量化这一差距,研究人员引入了PrIME-LLM综合评估指标,涵盖从初始评估、检查选择到治疗方案制定全过程。各模型的评估得分介于64%至78%之间,这凸显出AI在拥有完整信息时更擅长“揭示答案”,而非在数据不完整的情况下进行开放式逻辑推理。
尽管新模型在处理复杂数据方面较其前代有了显著改进,但研究团队强调,当前应将大型语言模型视为辅助工具。在临床实践中若缺乏专业监督而使用它们,仍存在风险。本研究为人工智能在医疗保健领域的未来发展提供了理性基准:从简单的“答案匹配”向复杂的“逻辑推理”的转变,将是医疗大型模型实现专业级应用的关键门槛。
相关文章
美国股市触及历史里程碑,人工智能与航空航天巨头准备开启万亿美元时代
埃隆·马斯克、山姆·阿尔特曼和达里奥·阿莫迪,这三位科技领域的巨头,正推动其各自的企业迈向首次公开募股(IPO)。随着 SpaceX、OpenAI 和 Anthropic——这三家估值接近万亿美元的行业巨头——即将上市,2026 年被预测将成为美国历史上新股发行规模最大的一年。这一历史性的资本激增已引起全球金融界的关注,成为检验公共市场吸收如此大规模资金能力的关键压力测试。这些主要融资活动的同步启动预计将打破 2021 年创下的 1560 亿美元纪录。超级独角兽的资本博弈每家公司上市的路径
瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元
随着人工智能驱动的编码工具日益普及,瑞典初创公司 Lovable 已获一轮重大融资。该公司计划筹集 30 亿美元,其估值有望升至 132 亿美元——这是去年 12 月记录的 66 亿美元的两倍。预计 Menlo Ventures 将主导此次投资。Lovable 的吸引力源于其核心的“氛围编码”(vibe coding)技术,该技术通过消除对复杂编码技能的需求来简化软件开发。用户只需以自然语言描述其需求,系统即可自动生成应用程序。这种直观的方法吸引了个人开发者、设计师和小企业,并扩展至 Work
Google 测试 Remy AI 代理,以 Gemini 为重点转向用户控制
根据《商业内幕》的报道,谷歌正在测试 Remy,这是 Gemini 的一款全新 AI 个人代理工具。该工具旨在代表用户执行任务,从而简化专业工作流程和日常事务。目前,Remy 正在 Gemini 应用的内部员工专属版本中进行测试。该报告引用了一份内部文件以及对两位熟悉该项目的个人的采访。内部资料将 Remy 描述为“全天候个人代理”,将 Gemini 定位为能够代表用户行事的主动助手。接近该项目的消息人士证实,谷歌员工正在积极测试 Remy。谷歌发言人拒绝提供进一步评论。该报告未提及公开发布
相关专题推荐
评论 (0)
0/500

麻省总医院MESH孵化器团队最近的一项研究评估了生成式人工智能的临床推理能力。尽管人工智能正在医学领域取得重大进展,但该研究揭示了在模拟真实世界临床诊断的逻辑链中仍存在显著缺陷。这项发表在权威期刊《JAMA Network Open》上的研究成果明确表明,当前的主流模型尚不具备执行独立临床诊断任务的能力。
该研究利用29个已确立的临床病例,对包括ChatGPT、DeepSeek、Claude、Gemini和Grok在内的21个大型语言模型进行了测试。实验通过逐步披露患者症状、实验室数据和影像结果,模拟了医生的动态诊断过程。 数据表明,在获得完整信息的情况下,所有模型在给出正确最终诊断时的准确率均超过90%。然而,在临床推理的核心领域——鉴别诊断中,超过80%的模型表现不佳,未能系统地分析和优先排序多种潜在病症。
为量化这一差距,研究人员引入了PrIME-LLM综合评估指标,涵盖从初始评估、检查选择到治疗方案制定全过程。各模型的评估得分介于64%至78%之间,这凸显出AI在拥有完整信息时更擅长“揭示答案”,而非在数据不完整的情况下进行开放式逻辑推理。
尽管新模型在处理复杂数据方面较其前代有了显著改进,但研究团队强调,当前应将大型语言模型视为辅助工具。在临床实践中若缺乏专业监督而使用它们,仍存在风险。本研究为人工智能在医疗保健领域的未来发展提供了理性基准:从简单的“答案匹配”向复杂的“逻辑推理”的转变,将是医疗大型模型实现专业级应用的关键门槛。
美国股市触及历史里程碑,人工智能与航空航天巨头准备开启万亿美元时代
埃隆·马斯克、山姆·阿尔特曼和达里奥·阿莫迪,这三位科技领域的巨头,正推动其各自的企业迈向首次公开募股(IPO)。随着 SpaceX、OpenAI 和 Anthropic——这三家估值接近万亿美元的行业巨头——即将上市,2026 年被预测将成为美国历史上新股发行规模最大的一年。这一历史性的资本激增已引起全球金融界的关注,成为检验公共市场吸收如此大规模资金能力的关键压力测试。这些主要融资活动的同步启动预计将打破 2021 年创下的 1560 亿美元纪录。超级独角兽的资本博弈每家公司上市的路径
瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元
随着人工智能驱动的编码工具日益普及,瑞典初创公司 Lovable 已获一轮重大融资。该公司计划筹集 30 亿美元,其估值有望升至 132 亿美元——这是去年 12 月记录的 66 亿美元的两倍。预计 Menlo Ventures 将主导此次投资。Lovable 的吸引力源于其核心的“氛围编码”(vibe coding)技术,该技术通过消除对复杂编码技能的需求来简化软件开发。用户只需以自然语言描述其需求,系统即可自动生成应用程序。这种直观的方法吸引了个人开发者、设计师和小企业,并扩展至 Work





首页






