李飛飛團隊揭曉一種方法,可從單一影片生成無限多的機器人訓練場地
在具身智慧領域中,彌合模擬與現實之間的鴻溝——即所謂的「Sim2Real」——長期以來一直是難以克服的障礙。模擬系統成本高昂,且模型在實際環境中部署時,性能往往會下降。 李飛飛團隊、NVIDIA GEAR Lab 以及喬治亞理工學院近期共同發表的一項研究,提出了一種嶄新的解決方案:Real2Sim。
這套名為「SimFoundry」的系統,能利用簡單的真實世界影片,建立互動式、可訓練且可測試的機器人模擬。SimFoundry 不僅超越傳統的 3D 重建技術,更透過深度場景分析來自動化環境建構,大幅降低建立模擬所需的工時。

SimFoundry 的核心創新在於「數位孿生」與「數位同源體」之間的閉環機制。 該系統從影片中擷取幾何、物理及互動數據,以建構高保真度的數位孿生;隨後自動變更外觀、佈局與任務,生成多樣化的數位表親。這使開發者能從單一影片中獲取幾乎無限的訓練數據,並在模擬環境中實現端到端的策略學習與評估。
實驗證實 SimFoundry 具備強大的預測能力,模擬機器人的表現與實際結果高度吻合。關鍵在於,基於這類合成數據訓練出的策略無需微調即可有效轉移至現實世界(「零樣本學習」),並在多步驟操作和雙臂協調等複雜任務中表現卓越。
這套開源系統由頂尖機器人專家共同開發,包括 NVIDIA GEAR Lab 及李飛飛團隊的核心成員,有望徹底改變具身人工智慧的開發模式。透過以生成式技術取代耗費鉅資的手動資料蒐集,機器人現已能更快地從實驗室轉向實際應用。
論文連結:https://arxiv.org/pdf/2606.28276v1
相關文章
Anthropic 推出 Claude Mythos,以簡潔證明解決 Erdős 猜想
5月26日,Anthropic 的工程師 Sholto Douglas 在 X 平臺宣佈,其最新模型 Claude Mythos 破解了組合幾何學中一個世紀難題:埃爾德什單位距離猜想(Erdős unit distance conjecture)。這一被贊為“巧妙且簡潔”的證明,緊隨 OpenAI 聲稱 GPT-5.5 已解決同一里程碑之後出現,凸顯了頂級 AI 實驗室在純數學發現領域日益激烈的競爭。這一成就凸顯了一種區別於傳統單模型方法的協作智慧體(agent)路徑。據報道,該團隊部署了一個自
亞馬遜以70億美元收購Decart,確保關鍵AI晶片介面卡
據《華爾街日報》報道,亞馬遜正在談判以約70億美元的估值收購人工智慧初創公司Decart。如果沒有出現競爭性報價,這筆交易可能很快完成,這凸顯了各大科技公司在當前晶片供應受限的情況下,急於確保計算資源的緊迫性。為什麼Decart的跨晶片軟體至關重要總部位於舊金山的Decart專注於相容性層,使開發人員能夠毫無障礙地將AI模型遷移到不同的硬體上。隨著雲服務提供商競相最佳化基礎設施,這種靈活性變得至關重要。對於AWS而言,整合Decart的技術能夠提升客戶的敏捷性,降低對單一晶片供應商的依賴。從
Locus 如何應對機器人領域的最大挑戰之一:操作
NeuraGrasp 可處理各式各樣的物品,包括小型容器、多孔塑膠袋及紡織品。| 來源:Locus RoboticsLocus Robotics 公司已在實際運作環境中克服了眾多機器人技術難關。其自主移動機器人(AMR)已在各類設施中行駛長距離,累計支援超過 60 億次揀選作業。如今,該公司正將業務拓展至機器人操作領域。Locus 於 2025 年 3 月推出「Array」——一款配備客製化視覺引
相關專題推薦
評論 (0)
0/500
在具身智慧領域中,彌合模擬與現實之間的鴻溝——即所謂的「Sim2Real」——長期以來一直是難以克服的障礙。模擬系統成本高昂,且模型在實際環境中部署時,性能往往會下降。 李飛飛團隊、NVIDIA GEAR Lab 以及喬治亞理工學院近期共同發表的一項研究,提出了一種嶄新的解決方案:Real2Sim。
這套名為「SimFoundry」的系統,能利用簡單的真實世界影片,建立互動式、可訓練且可測試的機器人模擬。SimFoundry 不僅超越傳統的 3D 重建技術,更透過深度場景分析來自動化環境建構,大幅降低建立模擬所需的工時。

SimFoundry 的核心創新在於「數位孿生」與「數位同源體」之間的閉環機制。 該系統從影片中擷取幾何、物理及互動數據,以建構高保真度的數位孿生;隨後自動變更外觀、佈局與任務,生成多樣化的數位表親。這使開發者能從單一影片中獲取幾乎無限的訓練數據,並在模擬環境中實現端到端的策略學習與評估。
實驗證實 SimFoundry 具備強大的預測能力,模擬機器人的表現與實際結果高度吻合。關鍵在於,基於這類合成數據訓練出的策略無需微調即可有效轉移至現實世界(「零樣本學習」),並在多步驟操作和雙臂協調等複雜任務中表現卓越。
這套開源系統由頂尖機器人專家共同開發,包括 NVIDIA GEAR Lab 及李飛飛團隊的核心成員,有望徹底改變具身人工智慧的開發模式。透過以生成式技術取代耗費鉅資的手動資料蒐集,機器人現已能更快地從實驗室轉向實際應用。
論文連結:https://arxiv.org/pdf/2606.28276v1
Anthropic 推出 Claude Mythos,以簡潔證明解決 Erdős 猜想
5月26日,Anthropic 的工程師 Sholto Douglas 在 X 平臺宣佈,其最新模型 Claude Mythos 破解了組合幾何學中一個世紀難題:埃爾德什單位距離猜想(Erdős unit distance conjecture)。這一被贊為“巧妙且簡潔”的證明,緊隨 OpenAI 聲稱 GPT-5.5 已解決同一里程碑之後出現,凸顯了頂級 AI 實驗室在純數學發現領域日益激烈的競爭。這一成就凸顯了一種區別於傳統單模型方法的協作智慧體(agent)路徑。據報道,該團隊部署了一個自
亞馬遜以70億美元收購Decart,確保關鍵AI晶片介面卡
據《華爾街日報》報道,亞馬遜正在談判以約70億美元的估值收購人工智慧初創公司Decart。如果沒有出現競爭性報價,這筆交易可能很快完成,這凸顯了各大科技公司在當前晶片供應受限的情況下,急於確保計算資源的緊迫性。為什麼Decart的跨晶片軟體至關重要總部位於舊金山的Decart專注於相容性層,使開發人員能夠毫無障礙地將AI模型遷移到不同的硬體上。隨著雲服務提供商競相最佳化基礎設施,這種靈活性變得至關重要。對於AWS而言,整合Decart的技術能夠提升客戶的敏捷性,降低對單一晶片供應商的依賴。從





首頁






