李飞飞团队公布了一种从单段视频中生成无限机器人训练场的方法
在具身智能领域,弥合模拟与现实之间的鸿沟——即所谓的“Sim2Real”——长期以来一直是一道难以逾越的障碍。模拟实验环境成本高昂,且模型在实际环境中部署时,性能往往会下降。 李飞飞团队、NVIDIA GEAR Lab 以及佐治亚理工学院近期开展的一项合作研究提出了一种创新解决方案:Real2Sim。
该系统名为“SimFoundry”,能够利用简单的真实世界视频创建交互式、可训练且可测试的机器人仿真。SimFoundry 不仅超越了传统的 3D 重建技术,还通过深度场景分析实现环境的自动生成,从而大幅降低了构建仿真所需的成本。

SimFoundry 的核心创新在于“数字孪生”与“数字表亲”之间的闭环机制。 该系统从视频中提取几何、物理和交互数据,以构建高保真的数字孪生体。随后,它会自动改变外观、布局和任务,从而生成多样化的数字表亲。这使得开发者能够从单段视频中获取几乎无限的训练数据,从而在模拟环境中实现端到端的策略学习和评估。
实验证实了 SimFoundry 强大的预测能力,模拟的机器人性能与现实世界结果高度吻合。关键在于,基于这些合成数据训练的策略无需微调即可有效迁移到现实中(“零样本”),并在多步骤操作和双臂协调等复杂任务中表现出色。
该开源系统由包括 NVIDIA GEAR Lab 核心成员和李飞飞团队在内的顶尖机器人专家共同开发,有望彻底改变具身人工智能的开发方式。通过用生成式技术取代成本高昂的手动数据采集,机器人现在能够更快地从实验室走向实际应用。
论文链接:https://arxiv.org/pdf/2606.28276v1
相关文章
Anthropic 推出 Claude Mythos,以简洁证明解决 Erdős 猜想
5月26日,Anthropic 的工程师 Sholto Douglas 在 X 平台宣布,其最新模型 Claude Mythos 破解了组合几何学中一个世纪难题:埃尔德什单位距离猜想(Erdős unit distance conjecture)。这一被赞为“巧妙且简洁”的证明,紧随 OpenAI 声称 GPT-5.5 已解决同一里程碑之后出现,凸显了顶级 AI 实验室在纯数学发现领域日益激烈的竞争。这一成就凸显了一种区别于传统单模型方法的协作智能体(agent)路径。据报道,该团队部署了一个自
亚马逊以70亿美元收购Decart,确保关键AI芯片适配器
据《华尔街日报》报道,亚马逊正在谈判以约70亿美元的估值收购人工智能初创公司Decart。如果没有出现竞争性报价,这笔交易可能很快完成,这凸显了各大科技公司在当前芯片供应受限的情况下,急于确保计算资源的紧迫性。为什么Decart的跨芯片软件至关重要总部位于旧金山的Decart专注于兼容性层,使开发人员能够毫无障碍地将AI模型迁移到不同的硬件上。随着云服务提供商竞相优化基础设施,这种灵活性变得至关重要。对于AWS而言,整合Decart的技术能够提升客户的敏捷性,降低对单一芯片供应商的依赖。从
Locus 如何应对机器人领域的一大挑战:机械臂操作
NeuraGrasp 可处理各类物品,包括小型容器、多孔塑料袋和纺织品。| 来源:Locus RoboticsLocus Robotics 公司已在实际运营环境中攻克了众多机器人技术难题。其自主移动机器人(AMR)已在各类设施中长距离穿行,累计支持了超过 60 亿次拣选操作。如今,该公司正将业务拓展至机器人操作领域。2025年3月,Locus通过推出Array正式进军机器人拣选领域,这是一款配备定
相关专题推荐
评论 (0)
0/500
在具身智能领域,弥合模拟与现实之间的鸿沟——即所谓的“Sim2Real”——长期以来一直是一道难以逾越的障碍。模拟实验环境成本高昂,且模型在实际环境中部署时,性能往往会下降。 李飞飞团队、NVIDIA GEAR Lab 以及佐治亚理工学院近期开展的一项合作研究提出了一种创新解决方案:Real2Sim。
该系统名为“SimFoundry”,能够利用简单的真实世界视频创建交互式、可训练且可测试的机器人仿真。SimFoundry 不仅超越了传统的 3D 重建技术,还通过深度场景分析实现环境的自动生成,从而大幅降低了构建仿真所需的成本。

SimFoundry 的核心创新在于“数字孪生”与“数字表亲”之间的闭环机制。 该系统从视频中提取几何、物理和交互数据,以构建高保真的数字孪生体。随后,它会自动改变外观、布局和任务,从而生成多样化的数字表亲。这使得开发者能够从单段视频中获取几乎无限的训练数据,从而在模拟环境中实现端到端的策略学习和评估。
实验证实了 SimFoundry 强大的预测能力,模拟的机器人性能与现实世界结果高度吻合。关键在于,基于这些合成数据训练的策略无需微调即可有效迁移到现实中(“零样本”),并在多步骤操作和双臂协调等复杂任务中表现出色。
该开源系统由包括 NVIDIA GEAR Lab 核心成员和李飞飞团队在内的顶尖机器人专家共同开发,有望彻底改变具身人工智能的开发方式。通过用生成式技术取代成本高昂的手动数据采集,机器人现在能够更快地从实验室走向实际应用。
论文链接:https://arxiv.org/pdf/2606.28276v1
Anthropic 推出 Claude Mythos,以简洁证明解决 Erdős 猜想
5月26日,Anthropic 的工程师 Sholto Douglas 在 X 平台宣布,其最新模型 Claude Mythos 破解了组合几何学中一个世纪难题:埃尔德什单位距离猜想(Erdős unit distance conjecture)。这一被赞为“巧妙且简洁”的证明,紧随 OpenAI 声称 GPT-5.5 已解决同一里程碑之后出现,凸显了顶级 AI 实验室在纯数学发现领域日益激烈的竞争。这一成就凸显了一种区别于传统单模型方法的协作智能体(agent)路径。据报道,该团队部署了一个自
亚马逊以70亿美元收购Decart,确保关键AI芯片适配器
据《华尔街日报》报道,亚马逊正在谈判以约70亿美元的估值收购人工智能初创公司Decart。如果没有出现竞争性报价,这笔交易可能很快完成,这凸显了各大科技公司在当前芯片供应受限的情况下,急于确保计算资源的紧迫性。为什么Decart的跨芯片软件至关重要总部位于旧金山的Decart专注于兼容性层,使开发人员能够毫无障碍地将AI模型迁移到不同的硬件上。随着云服务提供商竞相优化基础设施,这种灵活性变得至关重要。对于AWS而言,整合Decart的技术能够提升客户的敏捷性,降低对单一芯片供应商的依赖。从





首页






