OpenAI 发布 GeneBench-Pro 基准测试,以推动人工智能在生物分析领域的应用
随着生物技术日新月异,高效、准确地分析复杂的生物数据已成为研究人员面临的一大挑战。 为了使人工智能模型在该领域具备更强的分析能力,OpenAI 最近推出了一项名为 GeneBench-Pro 的新基准测试。该基准测试旨在评估人工智能在基因组学和蛋白质组学等领域的实际研究能力,特别是其在面对杂乱且不完整的数据时进行判断和决策的能力。
GeneBench-Pro 与传统基准测试截然不同。传统测试往往侧重于模型的记忆容量以及执行固定任务序列的能力,而 GeneBench-Pro 则强调其在现实世界中的研究实用性。 其任务围绕“模糊、不完整且存在噪声”的数据环境构建,使模型能够在此类条件下进行探索和分析,从而更准确地反映其判断能力。

该基准测试涵盖了广泛的生物学领域,包括基因组学、定量生物学和转化医学,包含 129 个问题,涉及统计遗传学、群体遗传学、功能基因组学和蛋白质组学等子领域。 每道题目都提供了一个接近真实研究环境的数据集,要求模型独立选择分析方法,根据简要的实验背景调整策略,并最终得出结论。
为避免传统长过程测试中常见的评分偏差,OpenAI在设计GeneBench-Pro时采用了合成数据。这种方法使OpenAI能够更严格地控制数据生成过程,确保模型表现反映的是真正的理解,而非通过猜测或捷径获得的正确答案。
OpenAI 已在 Hugging Face 平台上开源了 GeneBench-Pro 的 10 道代表性样题,使外部研究人员能够通过交互式界面进行探索。未来,OpenAI 计划将其中 50 道题目交由 Artificial Analysis 进行独立评估,以验证不同模型在此基准测试中的实际表现。
相关文章
美国股市触及历史里程碑,人工智能与航空航天巨头准备开启万亿美元时代
埃隆·马斯克、山姆·阿尔特曼和达里奥·阿莫迪,这三位科技领域的巨头,正推动其各自的企业迈向首次公开募股(IPO)。随着 SpaceX、OpenAI 和 Anthropic——这三家估值接近万亿美元的行业巨头——即将上市,2026 年被预测将成为美国历史上新股发行规模最大的一年。这一历史性的资本激增已引起全球金融界的关注,成为检验公共市场吸收如此大规模资金能力的关键压力测试。这些主要融资活动的同步启动预计将打破 2021 年创下的 1560 亿美元纪录。超级独角兽的资本博弈每家公司上市的路径
瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元
随着人工智能驱动的编码工具日益普及,瑞典初创公司 Lovable 已获一轮重大融资。该公司计划筹集 30 亿美元,其估值有望升至 132 亿美元——这是去年 12 月记录的 66 亿美元的两倍。预计 Menlo Ventures 将主导此次投资。Lovable 的吸引力源于其核心的“氛围编码”(vibe coding)技术,该技术通过消除对复杂编码技能的需求来简化软件开发。用户只需以自然语言描述其需求,系统即可自动生成应用程序。这种直观的方法吸引了个人开发者、设计师和小企业,并扩展至 Work
Google 测试 Remy AI 代理,以 Gemini 为重点转向用户控制
根据《商业内幕》的报道,谷歌正在测试 Remy,这是 Gemini 的一款全新 AI 个人代理工具。该工具旨在代表用户执行任务,从而简化专业工作流程和日常事务。目前,Remy 正在 Gemini 应用的内部员工专属版本中进行测试。该报告引用了一份内部文件以及对两位熟悉该项目的个人的采访。内部资料将 Remy 描述为“全天候个人代理”,将 Gemini 定位为能够代表用户行事的主动助手。接近该项目的消息人士证实,谷歌员工正在积极测试 Remy。谷歌发言人拒绝提供进一步评论。该报告未提及公开发布
相关专题推荐
评论 (0)
0/500
随着生物技术日新月异,高效、准确地分析复杂的生物数据已成为研究人员面临的一大挑战。 为了使人工智能模型在该领域具备更强的分析能力,OpenAI 最近推出了一项名为 GeneBench-Pro 的新基准测试。该基准测试旨在评估人工智能在基因组学和蛋白质组学等领域的实际研究能力,特别是其在面对杂乱且不完整的数据时进行判断和决策的能力。
GeneBench-Pro 与传统基准测试截然不同。传统测试往往侧重于模型的记忆容量以及执行固定任务序列的能力,而 GeneBench-Pro 则强调其在现实世界中的研究实用性。 其任务围绕“模糊、不完整且存在噪声”的数据环境构建,使模型能够在此类条件下进行探索和分析,从而更准确地反映其判断能力。

该基准测试涵盖了广泛的生物学领域,包括基因组学、定量生物学和转化医学,包含 129 个问题,涉及统计遗传学、群体遗传学、功能基因组学和蛋白质组学等子领域。 每道题目都提供了一个接近真实研究环境的数据集,要求模型独立选择分析方法,根据简要的实验背景调整策略,并最终得出结论。
为避免传统长过程测试中常见的评分偏差,OpenAI在设计GeneBench-Pro时采用了合成数据。这种方法使OpenAI能够更严格地控制数据生成过程,确保模型表现反映的是真正的理解,而非通过猜测或捷径获得的正确答案。
OpenAI 已在 Hugging Face 平台上开源了 GeneBench-Pro 的 10 道代表性样题,使外部研究人员能够通过交互式界面进行探索。未来,OpenAI 计划将其中 50 道题目交由 Artificial Analysis 进行独立评估,以验证不同模型在此基准测试中的实际表现。
美国股市触及历史里程碑,人工智能与航空航天巨头准备开启万亿美元时代
埃隆·马斯克、山姆·阿尔特曼和达里奥·阿莫迪,这三位科技领域的巨头,正推动其各自的企业迈向首次公开募股(IPO)。随着 SpaceX、OpenAI 和 Anthropic——这三家估值接近万亿美元的行业巨头——即将上市,2026 年被预测将成为美国历史上新股发行规模最大的一年。这一历史性的资本激增已引起全球金融界的关注,成为检验公共市场吸收如此大规模资金能力的关键压力测试。这些主要融资活动的同步启动预计将打破 2021 年创下的 1560 亿美元纪录。超级独角兽的资本博弈每家公司上市的路径
瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元
随着人工智能驱动的编码工具日益普及,瑞典初创公司 Lovable 已获一轮重大融资。该公司计划筹集 30 亿美元,其估值有望升至 132 亿美元——这是去年 12 月记录的 66 亿美元的两倍。预计 Menlo Ventures 将主导此次投资。Lovable 的吸引力源于其核心的“氛围编码”(vibe coding)技术,该技术通过消除对复杂编码技能的需求来简化软件开发。用户只需以自然语言描述其需求,系统即可自动生成应用程序。这种直观的方法吸引了个人开发者、设计师和小企业,并扩展至 Work





首页






