人工智能实验室向XDOF支付费用，用于收集杂乱无章的机器人训练数据

两周前，OpenAI宣布将重启其于2021年关闭的机器人项目——这是主要人工智能实验室竞相教机器如何在物理世界中运作的最新迹象。但要制造出功能强大的机器人，需要人工智能行业目前仍缺乏的一样东西：与语言模型所用数据相当的训练数据。

这一缺口正在催生一种新型基础设施业务。与基于海量公开文本进行训练的语言模型（LLMs）不同，机器人需要能够捕捉物理交互的数据——而此类数据几乎不存在。YouTube视频和零工经济从业者拍摄的素材保真度较低，且难以与物理世界进行对齐。

今日正式出道的XDOF（发音为“ecks-doff”）认为，人工智能领域的下一个主要瓶颈不会是模型或芯片，而是教机器人如何与物理世界互动所需的数据反馈循环。

这家初创公司致力于构建数据管道、采集工具和标注系统——这些正是前沿实验室和机器人公司难以独立开发的内容——为此，该公司已从 Thrive Capital、Spark Capital、a16z、Lux 和 WndrCo 处筹集了 7000 万美元资金。 联合创始人兼首席执行官菲利普·吴（Philippe Wu）表示，XDOF目前拥有约60名员工，已与20家客户展开合作，其中包括多家前沿AI实验室，但他无法透露具体名称。

“所有顶尖实验室都在尝试进军机器人领域，”吴表示，“我们已经看到在语言模型竞赛中稍稍落后所带来的某些弊端……你肯定不希望最终陷入这种境地：当大家都在物理人工智能这一下一个前沿领域齐头并进时，你却因追求这项技术太晚而落后。”

吴在加州大学伯克利分校攻读博士期间就亲身经历了这一问题。他的研究重点是让机器人能够从大规模数据集中学习技能。但有一个问题。

“我们没有大规模数据可供使用，”他告诉TechCrunch。“这就像一个‘鸡生蛋还是蛋生鸡’的问题——我们首先需要实际收集数据，才能开始探讨如何为机器人学训练基础模型。”

吴与他日后的XDOF联合创始人兼首席技术官弗雷德·申图（Fred Shentu）共同开展了一个名为GELLO的项目，这是一个低成本的遥操作系统，允许人类操作员控制机械臂来生成训练数据。 “这最终成为了一篇在机器人领域极具影响力的论文，因为许多人面临着类似的需求和瓶颈，许多人开始利用此类设备进行数据采集，”吴表示。

敏锐地捕捉到这一机遇，吴、申图以及第三位联合创始人兼首席运营官金尼莫于2024年10月共同创立了XDOF，旨在为致力于研发机器人模型的企业提供数据生态系统。 考虑到仅提供数据可能是一条死胡同，该公司还专注于数据清洗、工具开发和标注——为机器人训练者构建一个自我强化的反馈循环。

作为起点，该公司正与加州大学伯克利分校的人工智能研究实验室合作，发布其认为迄今为止规模最大的高质量机器人训练数据集，名为ABC。该数据集包含13万条机器人操作轨迹数据、300小时的模拟数据以及100小时的评估数据。 此前，学术界从未拥有过如此大规模的预训练数据。

“我们在语言、图像生成及其他领域看到，当模型和数据发布后，研究社区往往能取得超出预期的成果，”协助组织此次数据发布的伯克利大学博士生大卫·麦卡利斯特（David McAllister）告诉 TechCrunch。

该团队已利用这些数据对机器人进行了基准任务的训练，例如折叠T恤、压平纸箱，以及将AirPods装入充电盒等。

无限自由度

该公司计划在数据金字塔的三个层级上开展工作。最有价值的层级是针对实际部署中的机器人收集的遥操作数据；其次是像GELLO那样通过遥操作机器人收集的更通用数据；最后是人类执行日常任务时收集的“自我中心”数据，为此XDOF计划开发自己的可穿戴传感器。

“你选择的摄像头将影响数据质量——进而影响手部追踪算法的性能，”吴表示。“如果一开始就没有设计好硬件，你收集到的数据可能会出现一些你未曾预料到的特定问题。”

该公司计划在全球范围内招聘并培训大批远程操作员和以自我为中心的数据操作员——这种劳动密集型模式引发了一个显而易见的问题：为什么主要的研究实验室不自己来做这项数据生产工作呢？

“你需要一个拥有数十万平方英尺面积、配备数百台机器人的仓库，”吴说，“你还需要维护这些机器人，校准它们的物理参数，并妥善培训操作员。”

这种建设需要专注力、资本和运营规模，而大多数人工智能实验室更愿意将这些工作外包——这正是XDOF押注的市场。

XDOF 这个名字源自机器人术语“自由度”（degrees of freedom），该术语描述了机器人能够执行的独立运动数量。你的手臂，从肩膀到手腕，有七个自由度。 类人机器人公司Figure.AI的最新机器人拥有30个自由度。公司名称中的“X”体现了其雄心壮志：“任意自由度，无限自由度，”吴表示。