NVIDIA 與清華大學推出「Gamma-World」,突破多代理模擬的極限
影片世界模型正從單一代理的視角,轉向多代理協作。傳統模型通常假設僅存在單一代理,這限制了其處理複雜情境的能力——在這些情境中,多名參與者在同一個虛擬世界中相互作用並觀察彼此。 為克服此架構瓶頸,NVIDIA 攜手清華大學、多倫多大學及 Vector 研究院,共同推出了一種新型多代理世界模型解決方案——Gamma-World (γ-World)。
多代理世界建模的主要挑戰在於維持三種類型的 consistency:時間一致性、跨視角一致性與互動一致性。 早期的研究如 Solaris 雖推動了雙代理協作,卻暴露出兩項關鍵缺陷:破壞置換對稱性的身分編碼,以及隨代理數量增加而導致運算量呈二次方增長的全連接注意力機制,這使得系統無法有效擴展至更多參與者。

Gamma-World 透過全面重新設計來解決這些結構性問題。研究團隊引入了「單純形旋轉代理編碼」(Simplex Rotary Agent Encoding),將所有參與者定位於幾何單純形的頂點上,確保他們之間保持自然的等距關係與平等地位。 此設計不包含可學習參數,並採用隨機座標分配,使模型能夠在雙代理數據上進行訓練,並在無需任何架構變更的情況下直接執行四代理情境——這在泛化能力方面是一大飛躍。
為解決運算吞吐量的瓶頸,Gamma-World 採用了「稀疏樞紐注意力機制」。此方法以一組可學習的樞紐標記取代傳統的成對直接通訊,這些標記作為共享世界狀態的壓縮中繼站,將運算成本降低至線性複雜度。 結合獨立快取機制,該系統實現了每秒 24 幀(24 FPS)的即時動作模擬。
在訓練方面,研究團隊採用三階段的師生蒸餾方法,其中雙向師模型引導因果學生模型,將多步驟採樣壓縮為僅四個步驟。此設計在維持動作可控性的同時,顯著減少了自迴歸推論過程中的誤差累積。
實驗結果顯示,在《Minecraft》多玩家虛擬環境的五種核心情境中——包括記憶與建造任務——Gamma-World 的表現優於現有最先進模型,在視訊品質的 FVD 指標上平均降低了超過 40%。 該框架亦已成功應用於真實的雙臂機器人協作任務,證實了其跨情境的適用性。這項進展不僅提升了多代理模擬的效能,更有潛力成為物理人工智慧領域(如多臂醫療協作、工廠多機器人調度及自動駕駛)的大規模模擬生成基礎架構。
相關文章
Suno 在法律訴訟中為歌曲新增水印
Suno,這個允許使用者生成由人工智慧創作的音樂的平臺,近日推出了新功能,包括為平臺製作的曲目新增標籤、限制下載,並更新社羣標準以遏制未經授權的複製品。這些更新是在Suno面臨多家唱片公司和藝術家組織提起的多起訴訟之際推出的。在部落格文章中,聯合創始人兼執行長Mikey Shulman概述了核心原則,強調該平臺旨在促進原創創作,同時擴大更廣泛受眾對人工智慧音樂工具的訪問許可權。一個主要的爭議點在於,使用者將人工智慧生成的歌曲上傳到其他流媒體服務並透過操縱系統獲取收入。Suno表示,現在將採用音訊
馬斯克承認 Grok 構建過程中洩露了使用者程式碼,並承諾清除所有歷史資料
埃隆·馬斯克直接回應了圍繞 Grok Build 的隱私爭議,首先以簡單的“True”(屬實)確認了該事件的有效性。他承諾,此前上傳至 SpaceXAI 的所有使用者資料將被永久刪除,並表示“不留一個位元組”。這是人工智慧行業首次由主要科技領袖公開承認錯誤並主動刪除使用者資料。安全研究人員的“釣魚”測試揭示了資料洩露的具體證據此次爭議源於獨立人工智慧安全研究人員 @cereblab 的一份報告。SpaceXAI 推出的 AI 程式設計助手 Grok Build 在其官方網站上聲稱其“優先本地執行,程式碼
美國股市觸及歷史裡程碑,人工智慧與航空航天巨頭準備開啟萬億美元時代
埃隆·馬斯克、山姆·阿爾特曼和達里奧·阿莫迪,這三位科技領域的巨頭,正推動其各自的企業邁向首次公開募股(IPO)。隨著 SpaceX、OpenAI 和 Anthropic——這三家估值接近萬億美元的行業巨頭——即將上市,2026 年被預測將成為美國曆史上新股發行規模最大的一年。這一歷史性的資本激增已引起全球金融界的關注,成為檢驗公共市場吸收如此大規模資金能力的關鍵壓力測試。這些主要融資活動的同步啟動預計將打破 2021 年創下的 1560 億美元紀錄。超級獨角獸的資本博弈每家公司上市的路徑
相關專題推薦
評論 (0)
0/500
影片世界模型正從單一代理的視角,轉向多代理協作。傳統模型通常假設僅存在單一代理,這限制了其處理複雜情境的能力——在這些情境中,多名參與者在同一個虛擬世界中相互作用並觀察彼此。 為克服此架構瓶頸,NVIDIA 攜手清華大學、多倫多大學及 Vector 研究院,共同推出了一種新型多代理世界模型解決方案——Gamma-World (γ-World)。
多代理世界建模的主要挑戰在於維持三種類型的 consistency:時間一致性、跨視角一致性與互動一致性。 早期的研究如 Solaris 雖推動了雙代理協作,卻暴露出兩項關鍵缺陷:破壞置換對稱性的身分編碼,以及隨代理數量增加而導致運算量呈二次方增長的全連接注意力機制,這使得系統無法有效擴展至更多參與者。

Gamma-World 透過全面重新設計來解決這些結構性問題。研究團隊引入了「單純形旋轉代理編碼」(Simplex Rotary Agent Encoding),將所有參與者定位於幾何單純形的頂點上,確保他們之間保持自然的等距關係與平等地位。 此設計不包含可學習參數,並採用隨機座標分配,使模型能夠在雙代理數據上進行訓練,並在無需任何架構變更的情況下直接執行四代理情境——這在泛化能力方面是一大飛躍。
為解決運算吞吐量的瓶頸,Gamma-World 採用了「稀疏樞紐注意力機制」。此方法以一組可學習的樞紐標記取代傳統的成對直接通訊,這些標記作為共享世界狀態的壓縮中繼站,將運算成本降低至線性複雜度。 結合獨立快取機制,該系統實現了每秒 24 幀(24 FPS)的即時動作模擬。
在訓練方面,研究團隊採用三階段的師生蒸餾方法,其中雙向師模型引導因果學生模型,將多步驟採樣壓縮為僅四個步驟。此設計在維持動作可控性的同時,顯著減少了自迴歸推論過程中的誤差累積。
實驗結果顯示,在《Minecraft》多玩家虛擬環境的五種核心情境中——包括記憶與建造任務——Gamma-World 的表現優於現有最先進模型,在視訊品質的 FVD 指標上平均降低了超過 40%。 該框架亦已成功應用於真實的雙臂機器人協作任務,證實了其跨情境的適用性。這項進展不僅提升了多代理模擬的效能,更有潛力成為物理人工智慧領域(如多臂醫療協作、工廠多機器人調度及自動駕駛)的大規模模擬生成基礎架構。
Suno 在法律訴訟中為歌曲新增水印
Suno,這個允許使用者生成由人工智慧創作的音樂的平臺,近日推出了新功能,包括為平臺製作的曲目新增標籤、限制下載,並更新社羣標準以遏制未經授權的複製品。這些更新是在Suno面臨多家唱片公司和藝術家組織提起的多起訴訟之際推出的。在部落格文章中,聯合創始人兼執行長Mikey Shulman概述了核心原則,強調該平臺旨在促進原創創作,同時擴大更廣泛受眾對人工智慧音樂工具的訪問許可權。一個主要的爭議點在於,使用者將人工智慧生成的歌曲上傳到其他流媒體服務並透過操縱系統獲取收入。Suno表示,現在將採用音訊
馬斯克承認 Grok 構建過程中洩露了使用者程式碼,並承諾清除所有歷史資料
埃隆·馬斯克直接回應了圍繞 Grok Build 的隱私爭議,首先以簡單的“True”(屬實)確認了該事件的有效性。他承諾,此前上傳至 SpaceXAI 的所有使用者資料將被永久刪除,並表示“不留一個位元組”。這是人工智慧行業首次由主要科技領袖公開承認錯誤並主動刪除使用者資料。安全研究人員的“釣魚”測試揭示了資料洩露的具體證據此次爭議源於獨立人工智慧安全研究人員 @cereblab 的一份報告。SpaceXAI 推出的 AI 程式設計助手 Grok Build 在其官方網站上聲稱其“優先本地執行,程式碼
美國股市觸及歷史裡程碑,人工智慧與航空航天巨頭準備開啟萬億美元時代
埃隆·馬斯克、山姆·阿爾特曼和達里奧·阿莫迪,這三位科技領域的巨頭,正推動其各自的企業邁向首次公開募股(IPO)。隨著 SpaceX、OpenAI 和 Anthropic——這三家估值接近萬億美元的行業巨頭——即將上市,2026 年被預測將成為美國曆史上新股發行規模最大的一年。這一歷史性的資本激增已引起全球金融界的關注,成為檢驗公共市場吸收如此大規模資金能力的關鍵壓力測試。這些主要融資活動的同步啟動預計將打破 2021 年創下的 1560 億美元紀錄。超級獨角獸的資本博弈每家公司上市的路徑





首頁






