Can Brain Waves Unlock Physical AI?

物理智能的前沿领域，宛如在加利福尼亚州圣莱安德罗的一间仓库内进行的、赌注极高的叠叠乐游戏。

Encord 在此领域运营，为 AI 模型训练提供数据工具。Andrew Ceja 是一名“飞行员”（Encord 对机器人训练师的称呼），他戴着配有摄像头的头显，小心翼翼地从一座不稳定的塔中取出木块。这种设置是机器人训练数据收集的标准配置，但 Ceja 的头显还配备了传感器，用于记录他在拆解结构时的大脑活动。

Encord 是越来越多押注于“人形机器人和仓库机器人的主要瓶颈并非模型架构，而是现实世界物理训练数据的稀缺性”的初创公司之一。Encord 并非仅仅管理现有数据，而是围绕生成机器人公司所缺乏的数据来构建其商业模式。

Ceja 佩戴的大脑活动头显由德国神经科学初创公司 Zander Labs 开发。他们认为，通过测量大脑活动来推断心理状态（如错误、意图或惊讶）可以生成对训练模型更有价值的数据集。Encord 与 Zander 的合作目前处于试验阶段；目标是创建一个初始的大脑活动标记数据集，在客户机器人模型上进行测试，并在规模化之前评估性能提升情况。

负责该项目的 Zander 神经科学家 Lucas Gehrke 指出，特定任务期间的大脑活动水平为模型开发者提供了线索，以判断何时部署高算力模型。

Encord 机器人学习负责人 Vineeth Velmurugan 将此举描述为解决机器人数据瓶颈的“最前沿”工作。Velmurugan 是 OpenAI 机器人实验室和仓库自动化公司 Berkshire Grey 的老兵，他加入 Encord 以建立其内部数据创建团队。

Encord 最初成立是为了协助构建机器视觉应用的公司进行数据标注和模型评估。随着客户——许多是领先的机器人公司，尽管 Velmurugan 未透露具体名称——开始将端到端学习应用于机器人操作，高管们意识到他们需要生成训练数据，而不仅仅是管理数据。“数据根本不存在，”Velmurugan 表示。

生成式 AI 能够像颠覆聊天机器人一样彻底改变机器人技术的假设，至今仍在撞向同一堵墙。大型语言模型（LLMs）是在整个互联网文本及更多内容的基础上进行训练的。获取教授神经网络物理操作的等效原材料非常困难：自动驾驶汽车公司收集自己的数据，但这难以规模化。虽然可以从视频中训练，但它缺乏现实世界数据的保真度。Velmurugan 估计，需要比 YouTube 视频语料库大五倍的数据集才能取得突破——这也解释了为什么数据生成已成为一项独立的业务，而不仅仅是一个研究挑战。

满足你的自我中心数据需求

机器人开发人员现在主要依赖两个来源：由佩戴摄像头的工人拍摄的“自我中心”视频（通常辅以其他角度和指标）以及远程操作机器人的数据。Encord 利用这两种方式，从全球工厂收集自我中心数据，并利用其在圣莱安德罗的设施尝试新的模态（如大脑活动），或收集专注于特定技能的数据集以进行微调。

在 TechCrunch 访问期间，飞行员使用领导者-跟随者装置——成对的机械臂，其中一个由人类直接控制，另一个模仿其动作——来生成倒咖啡（容易晃动）和堆叠扑克筹码等任务的数据。“每家人形机器人都要求提供这些数据集，”Velmurugan 指出。

存储架上摆放着装在花瓶里的假花纸箱、书籍、塑料蔬菜、猫砂盆和铲子、袋子以及成捆的电线——这些都是训练家用任务操作机器人的必备道具。

在一个工作站，另一位飞行员 Sofia Infante 操控机械臂插拔服务器背面的以太网电缆——这是数据中心运营商希望自动化的任务，前提是机器人能够以足够的精度操作它们。亲自操作控制杆让我明白了为什么这仍然遥不可及：机械钳远不如人类手指灵活，也缺乏我们习以为常的自由度。

Encord 还在开发一种使用固定在前臂上的传感器来检测肌肉电信号的新数据模态。由于人类手部的视频往往无法捕捉到整个手部，Velmurugan 旨在基于手臂传感器数据创建手部位置的 3D 表示，为模型提供更稳健的理解。

Encord 的数据集标注了视频内容的物理描述——例如“右手拧紧螺栓”——以帮助基于大型语言模型的模型理解动作。Velmurugan 估计，这种密集标注对于训练特定任务的价值是“垃圾自我中心数据”的 100 倍，而生产成本仅高出 20 倍——从纸面上看，这是一个有利的权衡。

然而，“高出 20 倍”代表真金白银，这就是问题所在：从 Stack Overflow 等来源抓取互联网文本以构建大型语言模型，几乎不花费前沿实验室任何费用。生成物理训练数据则不然，这凸显了将物理智能与大型语言模型进行比较的局限性。这些数据必须被制造出来，而不仅仅是收集，这从根本上改变了模型开发的经济学。

Velmurugan 认为进展正在取得。凭借 Encord 对行业项目的洞察力，他观察到初创公司和前沿实验室正在确定哪些方法能有效改进物理智能模型。这一视角——位于多家机器人公司之间——是 Encord 价值主张的一部分，使他们能够在任何单一客户之前识别出在整个行业获得 traction 的数据技术。

这将使 Encord 设施中的十几名飞行员忙碌起来。Infante 和 Ceja 都是开发神经网络构建模块的日益壮大的劳动力的一部分；在加入 Encord 之前，他们曾在另一家 AI 数据标注公司 Scale 工作。

Ceja 之前在一家废物管理公司工作，他对技术的兴趣使他负责维护一台机器人垃圾分拣机。现在，随着叠叠乐塔倒塌，他享受解决机器人训练任务的挑战：“每天都有新事物！”