Can Brain Waves Unlock Physical AI?

物理智慧的前沿領域，宛如在加利福尼亞州聖萊安德羅的一間倉庫內進行的、賭注極高的疊疊樂遊戲。

Encord 在此領域運營，為 AI 模型訓練提供資料工具。Andrew Ceja 是一名“飛行員”（Encord 對機器人訓練師的稱呼），他戴著配有攝像頭的頭顯，小心翼翼地從一座不穩定的塔中取出木塊。這種設定是機器人訓練資料收集的標準配置，但 Ceja 的頭顯還配備了感測器，用於記錄他在拆解結構時的大腦活動。

Encord 是越來越多押注於“人形機器人和倉庫機器人的主要瓶頸並非模型架構，而是現實世界物理訓練資料的稀缺性”的初創公司之一。Encord 並非僅僅管理現有資料，而是圍繞生成機器人公司所缺乏的資料來構建其商業模式。

Ceja 佩戴的大腦活動頭顯由德國神經科學初創公司 Zander Labs 開發。他們認為，透過測量大腦活動來推斷心理狀態（如錯誤、意圖或驚訝）可以生成對訓練模型更有價值的資料集。Encord 與 Zander 的合作目前處於試驗階段；目標是建立一個初始的大腦活動標記資料集，在客戶機器人模型上進行測試，並在規模化之前評估效能提升情況。

負責該專案的 Zander 神經科學家 Lucas Gehrke 指出，特定任務期間的大腦活動水平為模型開發者提供了線索，以判斷何時部署高算力模型。

Encord 機器人學習負責人 Vineeth Velmurugan 將此舉描述為解決機器人資料瓶頸的“最前沿”工作。Velmurugan 是 OpenAI 機器人實驗室和倉庫自動化公司 Berkshire Grey 的老兵，他加入 Encord 以建立其內部資料建立團隊。

Encord 最初成立是為了協助構建機器視覺應用的公司進行資料標註和模型評估。隨著客戶——許多是領先的機器人公司，儘管 Velmurugan 未透露具體名稱——開始將端到端學習應用於機器人操作，高管們意識到他們需要生成訓練資料，而不僅僅是管理資料。“資料根本不存在，”Velmurugan 表示。

生成式 AI 能夠像顛覆聊天機器人一樣徹底改變機器人技術的假設，至今仍在撞向同一堵牆。大型語言模型（LLMs）是在整個網際網路文字及更多內容的基礎上進行訓練的。獲取教授神經網路物理操作的等效原材料非常困難：自動駕駛汽車公司收集自己的資料，但這難以規模化。雖然可以從影片中訓練，但它缺乏現實世界資料的保真度。Velmurugan 估計，需要比 YouTube 影片語料庫大五倍的資料集才能取得突破——這也解釋了為什麼資料生成已成為一項獨立的業務，而不僅僅是一個研究挑戰。

滿足你的自我中心資料需求

機器人開發人員現在主要依賴兩個來源：由佩戴攝像頭的工人拍攝的“自我中心”影片（通常輔以其他角度和指標）以及遠端操作機器人的資料。Encord 利用這兩種方式，從全球工廠收集自我中心資料，並利用其在聖萊安德羅的設施嘗試新的模態（如大腦活動），或收集專注於特定技能的資料集以進行微調。

在 TechCrunch 訪問期間，飛行員使用領導者-跟隨者裝置——成對的機械臂，其中一個由人類直接控制，另一個模仿其動作——來生成倒咖啡（容易晃動）和堆疊撲克籌碼等任務的資料。“每家人形機器人都要求提供這些資料集，”Velmurugan 指出。

儲存架上擺放著裝在花瓶裡的假花紙箱、書籍、塑膠蔬菜、貓砂盆和鏟子、袋子以及成捆的電線——這些都是訓練家用任務操作機器人的必備道具。

在一個工作站，另一位飛行員 Sofia Infante 操控機械臂插拔伺服器背面的乙太網電纜——這是資料中心運營商希望自動化的任務，前提是機器人能夠以足夠的精度操作它們。親自操作控制桿讓我明白了為什麼這仍然遙不可及：機械鉗遠不如人類手指靈活，也缺乏我們習以為常的自由度。

Encord 還在開發一種使用固定在前臂上的感測器來檢測肌肉電訊號的新資料模態。由於人類手部的影片往往無法捕捉到整個手部，Velmurugan 旨在基於手臂感測器資料建立手部位置的 3D 表示，為模型提供更穩健的理解。

Encord 的資料集標註了影片內容的物理描述——例如“右手擰緊螺栓”——以幫助基於大型語言模型的模型理解動作。Velmurugan 估計，這種密集標註對於訓練特定任務的價值是“垃圾自我中心資料”的 100 倍，而生產成本僅高出 20 倍——從紙面上看，這是一個有利的權衡。

然而，“高出 20 倍”代表真金白銀，這就是問題所在：從 Stack Overflow 等來源抓取網際網路文字以構建大型語言模型，幾乎不花費前沿實驗室任何費用。生成物理訓練資料則不然，這凸顯了將物理智慧與大型語言模型進行比較的侷限性。這些資料必須被製造出來，而不僅僅是收集，這從根本上改變了模型開發的經濟學。

Velmurugan 認為進展正在取得。憑藉 Encord 對行業專案的洞察力，他觀察到初創公司和前沿實驗室正在確定哪些方法能有效改進物理智慧模型。這一視角——位於多家機器人公司之間——是 Encord 價值主張的一部分，使他們能夠在任何單一客戶之前識別出在整個行業獲得 traction 的資料技術。

這將使 Encord 設施中的十幾名飛行員忙碌起來。Infante 和 Ceja 都是開發神經網路構建模組的日益壯大的勞動力的一部分；在加入 Encord 之前，他們曾在另一家 AI 資料標註公司 Scale 工作。

Ceja 之前在一家廢物管理公司工作，他對技術的興趣使他負責維護一臺機器人垃圾分揀機。現在，隨著疊疊樂塔倒塌，他享受解決機器人訓練任務的挑戰：“每天都有新事物！”