蚂蚁集团开源了LingBot-Video,这是首个面向具身智能的视频基础模型
7月9日,蚂蚁集团开源了LingBot-Video——这是全球首个基于“专家混合”(MoE)架构、专为具身智能打造的开源视频生成基础模型。 该模型以机器人和具身智能的核心需求为中心,重新定义了视频预训练,在推理效率、物理合理性、动作理解和任务完成方面实现了系统性的提升。它为视频基础模型提供了新的开源基础,使其能够从数字内容创作迈向具身智能。
在由北京大学与字节跳动联合开发的RBench基准测试中,LingBot-Video获得0.620分,表现优于Wan2.6(0.607)、Seedance1.5Pro(0.584)和Cosmos3Super(0.581)。 RBench 作为机器人操作视频的综合评估基准,专门用于评估模型能否生成符合现实世界物理规律的机器人行为。这一结果表明,在生成机器人相关视频时,LingBot-Video 在保持动作合理性和任务执行完整性方面表现更佳。

(图注:LingBot-Video 在 RBench 上取得最佳表现)
为进一步验证 LingBot-Video 建模物理世界变化的能力,蚂蚁集团在其内部基准测试中从两个维度对其进行了评估:整体质量和具身领域。 结果表明,与五款开源模型——NVIDIA Cosmos3、Wan2.2A14B、LongCat-Video、Hunyuan Video1.5 和 LTX-2.3——相比,LingBot-Video 在具身领域中表现优于主要基线模型。

(图注:综合评估表明,LingBot-Video在具身场景中展现出更强的物理理解能力和动作一致性)
近年来,视频生成模型在视觉质量、流畅度及创意表达方面取得了快速进步。然而,对于具身智能而言,一段看起来逼真且动作流畅的视频可能并不符合真实的物理定律,这使得它难以支持机器人的连续预测、规划和任务执行。 与此同时,具身智能还要求更高的推理效率,以适应实时交互和控制循环。
这促使视频生成沿着两条截然不同的路径发展:一条面向影视领域,服务于内容创作;另一条面向机器人领域,服务于对物理世界的理解、预测及交互。LingBot-Video 代表了蚂蚁集团在为具身智能量身定制的视频生成新路径上的重要探索。
LingBot-Video 在架构、数据和训练方面进行了系统性创新。
在架构上,LingBot-Video 采用了 DiT + MoE 设计,用 MoE 取代了传统的密集架构。这使得模型在保持可控推理成本的同时,能够扩展容量。 该模型拥有300亿个参数,但在生成过程中仅激活约30亿个,其推理效率约为同等规模密集架构的三倍。这种设计使模型既能借助大规模参数获得视觉表现力,又能更好地满足具身智能的效率需求。
在数据方面,LingBot-Video构建了一个数据剖析引擎,在海量互联网视频的基础上整合了VLA、VLN和Ego等机器人相关数据,涵盖了灵巧操作、机器人移动和第一人称交互等场景,共积累了70,000小时的具身数据。 这些数据有助于模型学习动作与环境变化之间的关系,而非仅仅学习视频的表面纹理和视觉风格。

在训练过程中,LingBot-Video引入了多维度强化学习奖励机制。除了美学、提示遵循和动作一致性等传统指标外,该模型还兼顾了物理合理性和任务完成度,使生成的结果更符合现实世界的物理规律,更贴近机器人在现实世界中执行任务的需求。
相关文章
Google 测试 Remy AI 代理,以 Gemini 为重点转向用户控制
根据《商业内幕》的报道,谷歌正在测试 Remy,这是 Gemini 的一款全新 AI 个人代理工具。该工具旨在代表用户执行任务,从而简化专业工作流程和日常事务。目前,Remy 正在 Gemini 应用的内部员工专属版本中进行测试。该报告引用了一份内部文件以及对两位熟悉该项目的个人的采访。内部资料将 Remy 描述为“全天候个人代理”,将 Gemini 定位为能够代表用户行事的主动助手。接近该项目的消息人士证实,谷歌员工正在积极测试 Remy。谷歌发言人拒绝提供进一步评论。该报告未提及公开发布
如何修复核心网页指标以获得更好的 SEO 排名
利用 AI 工具简化成绩单评语撰写引言用于生成成绩单评语的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成绩单评语登录 Magic School选择成绩单评语工具为学生定制评语使用 Almanac AI 生成成绩单评语设置课程与评分方案配置评语长度与学生信息使用 Almanac AI 生成评语比较 Magic School 与 Almanac AI设置的便捷性可定制性与课程内容的整合速度与效率使用
Slackbot 成为 AI 智能体
Slackbot,嵌入在Salesforce企业消息平台Slack中的自动化助手,正在演变为一个AI智能体。Salesforce首席技术官Parker Harris设想它将达到与OpenAI的ChatGPT相媲美的病毒式传播地位。这家云软件巨头于周二推出了更新版的Slackbot。该新版AI驱动版本面向Business+和Enterprise+客户,可直接在Slack内查找信息、起草电子邮件和安排会议。在获得适当权限的情况下,它还能与Microsoft Teams和Google Drive等企
相关专题推荐
评论 (0)
0/500
7月9日,蚂蚁集团开源了LingBot-Video——这是全球首个基于“专家混合”(MoE)架构、专为具身智能打造的开源视频生成基础模型。 该模型以机器人和具身智能的核心需求为中心,重新定义了视频预训练,在推理效率、物理合理性、动作理解和任务完成方面实现了系统性的提升。它为视频基础模型提供了新的开源基础,使其能够从数字内容创作迈向具身智能。
在由北京大学与字节跳动联合开发的RBench基准测试中,LingBot-Video获得0.620分,表现优于Wan2.6(0.607)、Seedance1.5Pro(0.584)和Cosmos3Super(0.581)。 RBench 作为机器人操作视频的综合评估基准,专门用于评估模型能否生成符合现实世界物理规律的机器人行为。这一结果表明,在生成机器人相关视频时,LingBot-Video 在保持动作合理性和任务执行完整性方面表现更佳。

(图注:LingBot-Video 在 RBench 上取得最佳表现)
为进一步验证 LingBot-Video 建模物理世界变化的能力,蚂蚁集团在其内部基准测试中从两个维度对其进行了评估:整体质量和具身领域。 结果表明,与五款开源模型——NVIDIA Cosmos3、Wan2.2A14B、LongCat-Video、Hunyuan Video1.5 和 LTX-2.3——相比,LingBot-Video 在具身领域中表现优于主要基线模型。

(图注:综合评估表明,LingBot-Video在具身场景中展现出更强的物理理解能力和动作一致性)
近年来,视频生成模型在视觉质量、流畅度及创意表达方面取得了快速进步。然而,对于具身智能而言,一段看起来逼真且动作流畅的视频可能并不符合真实的物理定律,这使得它难以支持机器人的连续预测、规划和任务执行。 与此同时,具身智能还要求更高的推理效率,以适应实时交互和控制循环。
这促使视频生成沿着两条截然不同的路径发展:一条面向影视领域,服务于内容创作;另一条面向机器人领域,服务于对物理世界的理解、预测及交互。LingBot-Video 代表了蚂蚁集团在为具身智能量身定制的视频生成新路径上的重要探索。
LingBot-Video 在架构、数据和训练方面进行了系统性创新。
在架构上,LingBot-Video 采用了 DiT + MoE 设计,用 MoE 取代了传统的密集架构。这使得模型在保持可控推理成本的同时,能够扩展容量。 该模型拥有300亿个参数,但在生成过程中仅激活约30亿个,其推理效率约为同等规模密集架构的三倍。这种设计使模型既能借助大规模参数获得视觉表现力,又能更好地满足具身智能的效率需求。
在数据方面,LingBot-Video构建了一个数据剖析引擎,在海量互联网视频的基础上整合了VLA、VLN和Ego等机器人相关数据,涵盖了灵巧操作、机器人移动和第一人称交互等场景,共积累了70,000小时的具身数据。 这些数据有助于模型学习动作与环境变化之间的关系,而非仅仅学习视频的表面纹理和视觉风格。

在训练过程中,LingBot-Video引入了多维度强化学习奖励机制。除了美学、提示遵循和动作一致性等传统指标外,该模型还兼顾了物理合理性和任务完成度,使生成的结果更符合现实世界的物理规律,更贴近机器人在现实世界中执行任务的需求。
如何修复核心网页指标以获得更好的 SEO 排名
利用 AI 工具简化成绩单评语撰写引言用于生成成绩单评语的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成绩单评语登录 Magic School选择成绩单评语工具为学生定制评语使用 Almanac AI 生成成绩单评语设置课程与评分方案配置评语长度与学生信息使用 Almanac AI 生成评语比较 Magic School 与 Almanac AI设置的便捷性可定制性与课程内容的整合速度与效率使用
Slackbot 成为 AI 智能体
Slackbot,嵌入在Salesforce企业消息平台Slack中的自动化助手,正在演变为一个AI智能体。Salesforce首席技术官Parker Harris设想它将达到与OpenAI的ChatGPT相媲美的病毒式传播地位。这家云软件巨头于周二推出了更新版的Slackbot。该新版AI驱动版本面向Business+和Enterprise+客户,可直接在Slack内查找信息、起草电子邮件和安排会议。在获得适当权限的情况下,它还能与Microsoft Teams和Google Drive等企





首页






