英伟达开源 Polar 框架,助力通过强化学习实现零门槛的 AI 编码代理进化
5月28日,英伟达(NVIDIA)研究团队开源了强化学习训练框架Polar。其核心创新在于,能够将现有的主流代码代理(如Codex、Claude Code和Qwen Code)无缝集成到GRPO(广义相对策略优化)强化学习训练中,且无需对原始代码进行任何修改。

一、行业痛点:代理强化学习的障碍
随着代码代理从简单的单步任务演进为复杂且长期运行的流程(例如仓库级代码修改或操作系统交互),开发者越来越依赖成熟的执行框架(Harness)。然而,将这些复杂的框架集成到传统的强化学习基础设施中面临着重大挑战:
高集成成本:传统方法要求将代码逻辑重写为 env.init() 和 env.step() 等标准环境接口,这一过程极其繁琐。
信息丢失:在重构过程中,关键细节(如工具调用、多轮对话上下文或子代理协作逻辑)往往丢失,导致模型无法接收高质量的训练信号。

II. 核心解决方案:以“边界”作为训练入口点
Polar 消除了重写执行框架的必要性。相反,它将模型 API 边界作为训练入口点。
黑盒处理:Polar 在代码执行框架与模型推理服务器之间部署了一个透明代理(网关)。无论代理使用的是 Anthropic、OpenAI 还是 Google 的 API,Polar 都能无缝拦截并转发请求。
轨迹重建:在转发过程中,Polar 会记录实时关键数据(如提示词、采样令牌和日志概率),并将其重建为强化学习训练器所需的“轨迹”数据。
高效的异步架构:系统采用 Rollout 服务器负责调度和数据持久化,而网关节点则管理生命周期和资源回收。通过利用预热缓冲区(READY 缓冲区)和并行任务处理,它有效消除了可能阻塞 GPU 训练的长尾任务。
III. 性能飞跃:代码代理的转型
实验数据表明,Polar 与 GRPO 训练相结合可带来显著的性能提升:
SWE-Bench验证基准测试:使用相同的Qwen3.5-4B基础模型,不同代码框架的性能表现存在差异:
Codex 框架:pass@1 得分从 3.8% 跃升至 26.4%——增幅达594.74%。
Claude Code Framework:从 29.8% 提升至 34.6%。
Pi 框架:从 34.2% 提升至 40.4%。
极致效率:引入 prefix_merging 策略后,与传统的按请求模式相比,训练总耗时缩短了约 5.39倍,GPU 利用率从 20.4% 提升至87.7%。
行业评论
NVIDIA Polar的开源本质上为AI代理进入强化学习训练领域铺设了一条“高速公路”。它不仅使研究人员能够利用海量的开源代码框架进行高效训练,还通过系统级优化降低了GPU计算门槛。
随着Polar的日益普及,开发者不再需要担心“如何将模型适配到训练框架”的问题。未来,AI编码代理的演进将变得更加标准化和高效。这标志着AI代理训练正从实验室的手动调试,转向大规模、系统化的工程化生产。
论文链接:https://arxiv.org/pdf/2605.24220
相关文章
韩国启动国家人工智能计算中心建设,投资2.5万亿韩元,目标2028年完成
韩国媒体EtNews报道,韩国AI计算中心(KOACC)的奠基仪式于8月3日在全罗南道顺天市的Solar City数据中心园区举行。该项目总投资额为2.5万亿韩元(约合118.38亿元人民币),计划于2028年投入运营,成为迄今为止韩国在AI基础设施领域规模最大的国家投资之一。该项目的股权分布凸显了深化政企合作的战略意图。三星SDS作为最大股东持有30%的股份,而包括科学技术信息通信部、金融监督院和国家成长基金在内的公共实体合计持有29%的股份。NAVER Cloud紧随其后,持股26.1%,
六大科技巨头向 Linux 基金会捐赠 1250 万美元,以应对人工智能漏洞噪音
为应对由人工智能自动化工具产生的大量低质量安全报告,六家主要科技公司——Anthropic、亚马逊(AWS)、GitHub、Google、Microsoft 和 OpenAI——共同向 Linux 基金会项目提供了 1250 万美元 的资金支持。这项投资旨在减轻开源软件(FOSS)维护者手动筛选的工作负担,使他们能够专注于真正的安全威胁。随着人工智能技术降低了漏洞发现的门槛,开源社区正面临前所未有的挑战:无效报告:自动生成的 AI 报告使维护者应接不暇。虽然数量庞大,但这些提交往往缺乏深度,
马斯克曾考虑将OpenAI留给他的孩子,而奥特曼正在作证
今早,OpenAI 首席执行官山姆·阿尔特曼出庭作证,回应前联合创始人埃隆·马斯克针对该公司企业结构提起的诉讼。当被问及马斯克声称其他联合创始人通过成立一家以营利为目的的子公司来推广基于人工智能的产品,从而“窃取了一家慈善机构”的说法时,阿尔特曼表现出明显的犹豫。“这种说法甚至让人难以理解,”阿尔特曼在停顿后说道,“我们成立的是全球最大的慈善机构之一。该基金会正在开展令人难以置信的工作,并将继续做更多事情。”马斯克的律师团队指出,OpenAI 基金会目前持有的资产价值约为 2000 亿美元
相关专题推荐
评论 (1)
0/500
5月28日,英伟达(NVIDIA)研究团队开源了强化学习训练框架Polar。其核心创新在于,能够将现有的主流代码代理(如Codex、Claude Code和Qwen Code)无缝集成到GRPO(广义相对策略优化)强化学习训练中,且无需对原始代码进行任何修改。

一、行业痛点:代理强化学习的障碍
随着代码代理从简单的单步任务演进为复杂且长期运行的流程(例如仓库级代码修改或操作系统交互),开发者越来越依赖成熟的执行框架(Harness)。然而,将这些复杂的框架集成到传统的强化学习基础设施中面临着重大挑战:
高集成成本:传统方法要求将代码逻辑重写为 env.init() 和 env.step() 等标准环境接口,这一过程极其繁琐。
信息丢失:在重构过程中,关键细节(如工具调用、多轮对话上下文或子代理协作逻辑)往往丢失,导致模型无法接收高质量的训练信号。

II. 核心解决方案:以“边界”作为训练入口点
Polar 消除了重写执行框架的必要性。相反,它将模型 API 边界作为训练入口点。
黑盒处理:Polar 在代码执行框架与模型推理服务器之间部署了一个透明代理(网关)。无论代理使用的是 Anthropic、OpenAI 还是 Google 的 API,Polar 都能无缝拦截并转发请求。
轨迹重建:在转发过程中,Polar 会记录实时关键数据(如提示词、采样令牌和日志概率),并将其重建为强化学习训练器所需的“轨迹”数据。
高效的异步架构:系统采用 Rollout 服务器负责调度和数据持久化,而网关节点则管理生命周期和资源回收。通过利用预热缓冲区(READY 缓冲区)和并行任务处理,它有效消除了可能阻塞 GPU 训练的长尾任务。
III. 性能飞跃:代码代理的转型
实验数据表明,Polar 与 GRPO 训练相结合可带来显著的性能提升:
SWE-Bench验证基准测试:使用相同的Qwen3.5-4B基础模型,不同代码框架的性能表现存在差异:
Codex 框架:pass@1 得分从 3.8% 跃升至 26.4%——增幅达594.74%。
Claude Code Framework:从 29.8% 提升至 34.6%。
Pi 框架:从 34.2% 提升至 40.4%。
极致效率:引入 prefix_merging 策略后,与传统的按请求模式相比,训练总耗时缩短了约 5.39倍,GPU 利用率从 20.4% 提升至87.7%。
行业评论
NVIDIA Polar的开源本质上为AI代理进入强化学习训练领域铺设了一条“高速公路”。它不仅使研究人员能够利用海量的开源代码框架进行高效训练,还通过系统级优化降低了GPU计算门槛。
随着Polar的日益普及,开发者不再需要担心“如何将模型适配到训练框架”的问题。未来,AI编码代理的演进将变得更加标准化和高效。这标志着AI代理训练正从实验室的手动调试,转向大规模、系统化的工程化生产。
论文链接:https://arxiv.org/pdf/2605.24220
韩国启动国家人工智能计算中心建设,投资2.5万亿韩元,目标2028年完成
韩国媒体EtNews报道,韩国AI计算中心(KOACC)的奠基仪式于8月3日在全罗南道顺天市的Solar City数据中心园区举行。该项目总投资额为2.5万亿韩元(约合118.38亿元人民币),计划于2028年投入运营,成为迄今为止韩国在AI基础设施领域规模最大的国家投资之一。该项目的股权分布凸显了深化政企合作的战略意图。三星SDS作为最大股东持有30%的股份,而包括科学技术信息通信部、金融监督院和国家成长基金在内的公共实体合计持有29%的股份。NAVER Cloud紧随其后,持股26.1%,
六大科技巨头向 Linux 基金会捐赠 1250 万美元,以应对人工智能漏洞噪音
为应对由人工智能自动化工具产生的大量低质量安全报告,六家主要科技公司——Anthropic、亚马逊(AWS)、GitHub、Google、Microsoft 和 OpenAI——共同向 Linux 基金会项目提供了 1250 万美元 的资金支持。这项投资旨在减轻开源软件(FOSS)维护者手动筛选的工作负担,使他们能够专注于真正的安全威胁。随着人工智能技术降低了漏洞发现的门槛,开源社区正面临前所未有的挑战:无效报告:自动生成的 AI 报告使维护者应接不暇。虽然数量庞大,但这些提交往往缺乏深度,
马斯克曾考虑将OpenAI留给他的孩子,而奥特曼正在作证
今早,OpenAI 首席执行官山姆·阿尔特曼出庭作证,回应前联合创始人埃隆·马斯克针对该公司企业结构提起的诉讼。当被问及马斯克声称其他联合创始人通过成立一家以营利为目的的子公司来推广基于人工智能的产品,从而“窃取了一家慈善机构”的说法时,阿尔特曼表现出明显的犹豫。“这种说法甚至让人难以理解,”阿尔特曼在停顿后说道,“我们成立的是全球最大的慈善机构之一。该基金会正在开展令人难以置信的工作,并将继续做更多事情。”马斯克的律师团队指出,OpenAI 基金会目前持有的资产价值约为 2000 亿美元





首页






