Bailing Team 与 AReno 合作,打造基于本地 AI 代理的强化学习循环
本地部署能力并不能保证能够无缝处理现实业务场景。在复杂的工作流中,AI 不仅需要进行对话,还必须解读复杂的规则、遵守安全约束,并准确调用外部工具以生成符合规范的输出结果。 为解决这一挑战,蚂蚁ASystem团队与开源社区共同开发了AReno——一款本地大模型微调工具包。近期,AReno与BaiLing大模型集成,构建了轻量级微调工作流,并在单机环境中成功构建了基于代理的强化学习(RL)循环。
为确保技术可重现性,鉴于其规则清晰且反馈即时,本研究选用了井字棋作为验证任务。 实验在 DGX Spark 硬件上进行,对 Ling-3.0-tiny 模型(总参数 7.9B,活跃参数 1.3B)进行了微调。最初,该模型虽然理解基本规则,但会走违规步。 通过将任务规则转换为精确的奖励反馈机制,并利用GSPO算法进行400步训练,模型的平均奖励值显著提升,输出长度也趋于稳定。后续测试证实,在工具调用和动作选择方面,模型的稳定性和合理性实现了质的飞跃。

此次探索验证了一种透明且可复现的任务适应方法论:识别错误、定义可验证的反馈,并在同一环境中执行局部训练和重新测试。该框架不仅适用于国际象棋实验,还能无缝应用于现实生产场景,例如工具调用修复、结构化字段提取、领域特定指令执行以及业务流程中的智能代理。
Ling-3.0-tiny 提供多种开源版本,包括 BF16、FP8 和 INT4。开发者可通过 Hugging Face 或 Moka 社区获取这些模型。此外,AReno 开源仓库也已开放,供用户提交代码并进行技术讨论。
相关文章
字节跳动旗下 Seed 启动全球校园招聘,以虚拟股份争夺顶尖大模型人才
在大型语言模型的竞争格局中,争夺顶尖人才仍然是最关键的战略资产。4月1日,字节跳动宣布启动Seed全球校园招聘计划,作为其大模型人才培养项目的一部分。该活动面向2027届毕业生及现有实习生,旨在全球范围内发掘并锁定AI领域的精英研发与工程人才。规模扩张:全球甄选100名“AI种子”在技术快速进步的背景下,字节跳动有限公司今年大幅增加了对基础AI人才的投入:招聘范围: 该计划旨在从全球范围内招聘约100名专注于大模型的杰出候选人,对象为2027届毕业生。发展路径: Seed计划将核心业务
Suno 在法律诉讼中为歌曲添加水印
Suno,这个允许用户生成由人工智能创作的音乐的平台,近日推出了新功能,包括为平台制作的曲目添加标签、限制下载,并更新社区标准以遏制未经授权的复制品。这些更新是在Suno面临多家唱片公司和艺术家组织提起的多起诉讼之际推出的。在博客文章中,联合创始人兼首席执行官Mikey Shulman概述了核心原则,强调该平台旨在促进原创创作,同时扩大更广泛受众对人工智能音乐工具的访问权限。一个主要的争议点在于,用户将人工智能生成的歌曲上传到其他流媒体服务并通过操纵系统获取收入。Suno表示,现在将采用音频
马斯克承认 Grok 构建过程中泄露了用户代码,并承诺清除所有历史数据
埃隆·马斯克直接回应了围绕 Grok Build 的隐私争议,首先以简单的“True”(属实)确认了该事件的有效性。他承诺,此前上传至 SpaceXAI 的所有用户数据将被永久删除,并表示“不留一个字节”。这是人工智能行业首次由主要科技领袖公开承认错误并主动删除用户数据。安全研究人员的“钓鱼”测试揭示了数据泄露的具体证据此次争议源于独立人工智能安全研究人员 @cereblab 的一份报告。SpaceXAI 推出的 AI 编程助手 Grok Build 在其官方网站上声称其“优先本地运行,代码
相关专题推荐
评论 (2)
0/500
ローカルデプロイでも実務は甘くないよな。単なるチャットボットじゃダメで、複雑なルール解釈やセキュリティ制約、外部ツール連携までこなせるのが真のAIだ。BailingとARenoの取り組みは的を得ていると思う。
本地部署能力并不能保证能够无缝处理现实业务场景。在复杂的工作流中,AI 不仅需要进行对话,还必须解读复杂的规则、遵守安全约束,并准确调用外部工具以生成符合规范的输出结果。 为解决这一挑战,蚂蚁ASystem团队与开源社区共同开发了AReno——一款本地大模型微调工具包。近期,AReno与BaiLing大模型集成,构建了轻量级微调工作流,并在单机环境中成功构建了基于代理的强化学习(RL)循环。
为确保技术可重现性,鉴于其规则清晰且反馈即时,本研究选用了井字棋作为验证任务。 实验在 DGX Spark 硬件上进行,对 Ling-3.0-tiny 模型(总参数 7.9B,活跃参数 1.3B)进行了微调。最初,该模型虽然理解基本规则,但会走违规步。 通过将任务规则转换为精确的奖励反馈机制,并利用GSPO算法进行400步训练,模型的平均奖励值显著提升,输出长度也趋于稳定。后续测试证实,在工具调用和动作选择方面,模型的稳定性和合理性实现了质的飞跃。

此次探索验证了一种透明且可复现的任务适应方法论:识别错误、定义可验证的反馈,并在同一环境中执行局部训练和重新测试。该框架不仅适用于国际象棋实验,还能无缝应用于现实生产场景,例如工具调用修复、结构化字段提取、领域特定指令执行以及业务流程中的智能代理。
Ling-3.0-tiny 提供多种开源版本,包括 BF16、FP8 和 INT4。开发者可通过 Hugging Face 或 Moka 社区获取这些模型。此外,AReno 开源仓库也已开放,供用户提交代码并进行技术讨论。
字节跳动旗下 Seed 启动全球校园招聘,以虚拟股份争夺顶尖大模型人才
在大型语言模型的竞争格局中,争夺顶尖人才仍然是最关键的战略资产。4月1日,字节跳动宣布启动Seed全球校园招聘计划,作为其大模型人才培养项目的一部分。该活动面向2027届毕业生及现有实习生,旨在全球范围内发掘并锁定AI领域的精英研发与工程人才。规模扩张:全球甄选100名“AI种子”在技术快速进步的背景下,字节跳动有限公司今年大幅增加了对基础AI人才的投入:招聘范围: 该计划旨在从全球范围内招聘约100名专注于大模型的杰出候选人,对象为2027届毕业生。发展路径: Seed计划将核心业务
Suno 在法律诉讼中为歌曲添加水印
Suno,这个允许用户生成由人工智能创作的音乐的平台,近日推出了新功能,包括为平台制作的曲目添加标签、限制下载,并更新社区标准以遏制未经授权的复制品。这些更新是在Suno面临多家唱片公司和艺术家组织提起的多起诉讼之际推出的。在博客文章中,联合创始人兼首席执行官Mikey Shulman概述了核心原则,强调该平台旨在促进原创创作,同时扩大更广泛受众对人工智能音乐工具的访问权限。一个主要的争议点在于,用户将人工智能生成的歌曲上传到其他流媒体服务并通过操纵系统获取收入。Suno表示,现在将采用音频
马斯克承认 Grok 构建过程中泄露了用户代码,并承诺清除所有历史数据
埃隆·马斯克直接回应了围绕 Grok Build 的隐私争议,首先以简单的“True”(属实)确认了该事件的有效性。他承诺,此前上传至 SpaceXAI 的所有用户数据将被永久删除,并表示“不留一个字节”。这是人工智能行业首次由主要科技领袖公开承认错误并主动删除用户数据。安全研究人员的“钓鱼”测试揭示了数据泄露的具体证据此次争议源于独立人工智能安全研究人员 @cereblab 的一份报告。SpaceXAI 推出的 AI 编程助手 Grok Build 在其官方网站上声称其“优先本地运行,代码
ローカルデプロイでも実務は甘くないよな。単なるチャットボットじゃダメで、複雑なルール解釈やセキュリティ制約、外部ツール連携までこなせるのが真のAIだ。BailingとARenoの取り組みは的を得ていると思う。





首页






