选项
首页
新闻
英伟达开源 Polar 框架,助力通过强化学习实现零门槛的 AI 编码代理进化

英伟达开源 Polar 框架,助力通过强化学习实现零门槛的 AI 编码代理进化

2026-05-31
163

5月28日,英伟达(NVIDIA)研究团队开源了强化学习训练框架Polar。其核心创新在于,能够将现有的主流代码代理(如Codex、Claude Code和Qwen Code)无缝集成到GRPO(广义相对策略优化)强化学习训练中,且无需对原始代码进行任何修改。

image.png

一、行业痛点:代理强化学习的障碍

随着代码代理从简单的单步任务演进为复杂且长期运行的流程(例如仓库级代码修改或操作系统交互),开发者越来越依赖成熟的执行框架(Harness)。然而,将这些复杂的框架集成到传统的强化学习基础设施中面临着重大挑战:

高集成成本:传统方法要求将代码逻辑重写为 env.init() 和 env.step() 等标准环境接口,这一过程极其繁琐。

信息丢失:在重构过程中,关键细节(如工具调用、多轮对话上下文或子代理协作逻辑)往往丢失,导致模型无法接收高质量的训练信号。

image.png

II. 核心解决方案:以“边界”作为训练入口点

Polar 消除了重写执行框架的必要性。相反,它将模型 API 边界作为训练入口点

黑盒处理:Polar 在代码执行框架与模型推理服务器之间部署了一个透明代理(网关)。无论代理使用的是 Anthropic、OpenAI 还是 Google 的 API,Polar 都能无缝拦截并转发请求。

轨迹重建:在转发过程中,Polar 会记录实时关键数据(如提示词、采样令牌和日志概率),并将其重建为强化学习训练器所需的“轨迹”数据。

高效的异步架构:系统采用 Rollout 服务器负责调度和数据持久化,而网关节点则管理生命周期和资源回收。通过利用预热缓冲区(READY 缓冲区)和并行任务处理,它有效消除了可能阻塞 GPU 训练的长尾任务。

III. 性能飞跃:代码代理的转型

实验数据表明,Polar 与 GRPO 训练相结合可带来显著的性能提升:

SWE-Bench验证基准测试:使用相同的Qwen3.5-4B基础模型,不同代码框架的性能表现存在差异:

Codex 框架:pass@1 得分从 3.8% 跃升至 26.4%——增幅达594.74%。

Claude Code Framework:从 29.8% 提升至 34.6%。

Pi 框架:从 34.2% 提升至 40.4%。

极致效率:引入 prefix_merging 策略后,与传统的按请求模式相比,训练总耗时缩短了约 5.39倍,GPU 利用率从 20.4% 提升至87.7%。

行业评论

NVIDIA Polar的开源本质上为AI代理进入强化学习训练领域铺设了一条“高速公路”。它不仅使研究人员能够利用海量的开源代码框架进行高效训练,还通过系统级优化降低了GPU计算门槛。

随着Polar的日益普及,开发者不再需要担心“如何将模型适配到训练框架”的问题。未来,AI编码代理的演进将变得更加标准化和高效。这标志着AI代理训练正从实验室的手动调试,转向大规模、系统化的工程化生产。

论文链接:https://arxiv.org/pdf/2605.24220

相关文章
韩国启动国家人工智能计算中心建设,投资2.5万亿韩元,目标2028年完成 韩国启动国家人工智能计算中心建设,投资2.5万亿韩元,目标2028年完成 韩国媒体EtNews报道,韩国AI计算中心(KOACC)的奠基仪式于8月3日在全罗南道顺天市的Solar City数据中心园区举行。该项目总投资额为2.5万亿韩元(约合118.38亿元人民币),计划于2028年投入运营,成为迄今为止韩国在AI基础设施领域规模最大的国家投资之一。该项目的股权分布凸显了深化政企合作的战略意图。三星SDS作为最大股东持有30%的股份,而包括科学技术信息通信部、金融监督院和国家成长基金在内的公共实体合计持有29%的股份。NAVER Cloud紧随其后,持股26.1%,
六大科技巨头向 Linux 基金会捐赠 1250 万美元,以应对人工智能漏洞噪音 六大科技巨头向 Linux 基金会捐赠 1250 万美元,以应对人工智能漏洞噪音 为应对由人工智能自动化工具产生的大量低质量安全报告,六家主要科技公司——Anthropic、亚马逊(AWS)、GitHub、Google、Microsoft 和 OpenAI——共同向 Linux 基金会项目提供了 1250 万美元 的资金支持。这项投资旨在减轻开源软件(FOSS)维护者手动筛选的工作负担,使他们能够专注于真正的安全威胁。随着人工智能技术降低了漏洞发现的门槛,开源社区正面临前所未有的挑战:无效报告:自动生成的 AI 报告使维护者应接不暇。虽然数量庞大,但这些提交往往缺乏深度,
马斯克曾考虑将OpenAI留给他的孩子,而奥特曼正在作证 马斯克曾考虑将OpenAI留给他的孩子,而奥特曼正在作证 今早,OpenAI 首席执行官山姆·阿尔特曼出庭作证,回应前联合创始人埃隆·马斯克针对该公司企业结构提起的诉讼。当被问及马斯克声称其他联合创始人通过成立一家以营利为目的的子公司来推广基于人工智能的产品,从而“窃取了一家慈善机构”的说法时,阿尔特曼表现出明显的犹豫。“这种说法甚至让人难以理解,”阿尔特曼在停顿后说道,“我们成立的是全球最大的慈善机构之一。该基金会正在开展令人难以置信的工作,并将继续做更多事情。”马斯克的律师团队指出,OpenAI 基金会目前持有的资产价值约为 2000 亿美元
相关专题推荐
音乐创作 面向词曲创作者、旋律片段、主旋律及多语言草稿创作的AI人声演示工具
面向词曲创作者、旋律片段、主旋律及多语言草稿创作的AI人声演示工具

2026 年最新最佳 AI 人声演示工具,专为词曲创作者、旋律创作者和多语言内容团队打造!XIX.AI 精心整理了一份经过严格真实世界测试的高评分、变革性工具列表。您将找到详细的免费与付费对比数据、全面排名以及必试选项,帮助您提升创作效率并释放创意潜力。立即探索,发现满足您所有内容需求的完美工具!

9 个工具
xix.ai
商业 适合中小企业的最佳AI竞品分析工具
适合中小企业的最佳AI竞品分析工具

2026年最新最佳、评价最高的中小企业AI竞争研究工具!XIX.AI精心精选了一系列功能强大、颠覆行业格局的工具,每周都会根据严格的实际测试和详细排名进行更新。您可以查看全面的免费版与付费版对比,从而找到那些能提升工作效率、助您赢得竞争优势的必试工具。 立即探索,发现最适合您的工具!

9 个工具
xix.ai
图像编辑 用于电商服装、皮肤清洁和色彩一致性的 Photoshop AI 修图工具
用于电商服装、皮肤清洁和色彩一致性的 Photoshop AI 修图工具

2026 年最新最佳 Photoshop AI 修图工具,适用于电商服装、皮肤清洁和色彩一致性!这份顶级精选列表包含强大的变革性解决方案,可帮助您提升写作效率、简化内容创作并轻松实现完美的视觉效果。每个工具都经过实际测试,并通过每周更新的排名进行验证,同时提供免费与付费版本的详细对比。由 XIX.AI 支持,这是任何希望发挥 AI 优势的人必试指南。立即探索!

10 个工具
xix.ai
提示词 适用于 ChatGPT 工作流的最佳 AI 提示词库
适用于 ChatGPT 工作流的最佳 AI 提示词库

2026年最新、最受好评的AI提示词库,可优化各类ChatGPT工作流程。XIX.AI精心整理了一套功能强大、具有颠覆性的提示词库,均经过严格的实际测试,以确保最佳性能。 您可以查看详细的免费版与付费版对比分析以及专家排名,这些内容将帮助您挑选出必试的工具,从而提升工作效率并释放您的AI优势。立即探索!

11 个工具
xix.ai
教育与学习 面向教师、辅导老师和基于群体的学习项目的 AI 测验构建平台
面向教师、辅导老师和基于群体的学习项目的 AI 测验构建平台

2026年最新最佳AI测验构建平台,适用于教师、辅导老师和基于群体的学习项目!XIX.AI精心整理了一份顶级评分列表,包含经过现实世界测试的强力变革性工具,以提供准确的排名。这些必试平台有助于提高写作效率、简化内容创作,并简化各种学习场景中的测验设计。立即探索,发现您解锁教学AI优势的理想工具!

13 个工具
xix.ai
代码 适用于处理重构、漏洞和安全漏洞的 GitHub 团队的 AI 代码提交审查工具
适用于处理重构、漏洞和安全漏洞的 GitHub 团队的 AI 代码提交审查工具

2026年GitHub团队最新最佳AI拉取请求审查工具已登陆XIX.AI!这份精心筛选的高评分清单汇集了功能强大的、具有颠覆性的解决方案,可优化整个团队工作流中的重构、错误修复和安全漏洞检测流程。 通过免费版与付费版的对比分析、实际测试以及详细排名,助您找到能显著提升工作效率的理想工具。立即探索,释放您的AI优势!

12 个工具
xix.ai
评论 (1)
0/500
AlbertWalker
AlbertWalker 2026-06-30 06:00:18

So NVIDIA just dropped Polar as open source? That's huge for AI coding agents - integrating Codex and Claude with reinforcement learning sounds like a game changer. But I wonder how much compute you'd need to actually train it effectively... 🤔

OR