AI 연구소들은 비정형 로봇 훈련 데이터 수집을 위해 XDOF에 비용을 지불한다

2주 전, OpenAI는 2021년에 중단했던 로봇 공학 프로그램을 재개하겠다고 발표했는데, 이는 주요 AI 연구소들이 기계가 물리적 세계에서 작동하는 방법을 가르치기 위해 경쟁하고 있음을 보여주는 최근의 신호다. 하지만 유능한 로봇을 만들려면 AI 업계에 아직 부족한 것이 하나 있는데, 바로 언어 모델이 사용하는 것과 동등한 수준의 훈련 데이터다.

이러한 격차는 새로운 유형의 인프라 사업을 촉진하고 있다. 방대한 양의 공개된 텍스트로 훈련된 대규모 언어 모델(LLM)과 달리, 로봇에는 물리적 상호작용을 포착한 데이터가 필요하지만, 그런 종류의 데이터는 거의 존재하지 않는다. 유튜브 동영상이나 긱(gig) 근로자들이 촬영한 영상은 화질이 낮고 실제 물리적 세계와 일치시키기 어렵다.

오늘 비밀 개발 단계를 벗어나 공식적으로 모습을 드러낸 XDOF(‘엑스-도프’로 발음)는 AI 분야의 다음 주요 병목 현상이 모델이나 칩이 아니라, 로봇이 물리적 세계와 상호작용하는 방법을 가르치는 데 필요한 데이터 피드백 루프가 될 것이라고 믿습니다.

이 스타트업은 최첨단 연구소와 로봇 공학 기업들이 자체적으로 쉽게 개발할 수 없는 데이터 파이프라인, 수집 도구, 주석 처리 시스템을 구축하는 것을 목표로 하고 있으며, 이를 위해 Thrive Capital, Spark Capital, a16z, Lux, WndrCo로부터 7,000만 달러를 투자받았다. 공동 창업자이자 CEO인 필립 우(Philippe Wu)는 약 60명의 직원을 고용하고 있는 XDOF가 이미 여러 최첨단 AI 연구소를 포함한 20개 고객사와 협력 중이라고 밝혔으나, 구체적인 이름을 공개할 수는 없다고 덧붙였다.

“모든 최상위 연구소들이 로봇 공학을 추구하고 있습니다,”라고 우 CEO는 말했습니다. “우리는 언어 모델 경쟁에서 약간 뒤처졌을 때 발생하는 몇 가지 단점을 이미 목격했습니다… 이 기술을 너무 늦게 추구하게 되어, 물리적 AI가 다음 개척 분야가 된 상황에서 모두가 같은 처지에 놓이게 되는 상황을 원치 않을 것입니다.”

우 씨는 UC 버클리 대학원생 시절 이 문제를 직접 겪었다. 그의 연구는 로봇이 대규모 데이터셋을 통해 기술을 학습할 수 있도록 하는 데 초점을 맞추고 있었다. 하지만 한 가지 문제가 있었다.

“연구에 활용할 대규모 데이터가 없었습니다,”라고 그는 테크크런치에 말했다. “닭과 달걀의 딜레마와 같은 상황이었습니다. 로봇공학을 위한 파운데이션 모델을 어떻게 훈련시킬지 고민하기 전에, 우선 실제로 데이터를 수집해야만 했죠.”

우와 훗날 XDOF의 공동 창업자이자 CTO가 된 프레드 셴투(Fred Shentu)는 ‘GELLO’라는 프로젝트를 진행했다. GELLO는 인간 조작자가 로봇 팔을 제어해 훈련 데이터를 생성할 수 있게 해주는 저비용 원격 조작 시스템이다. 우 씨는 “많은 사람들이 비슷한 필요와 병목 현상을 겪고 있었고, 상당수가 데이터 수집을 위해 이러한 유형의 장치를 활용하기 시작했기 때문에, 이 연구는 결국 로봇공학 분야에서 매우 영향력 있는 논문이 되었습니다”라고 말했다.

이러한 기회를 포착한 우, 셴투, 그리고 세 번째 공동 창업자이자 최고운영책임자(COO)인 네모 진은 2024년 10월, 로봇 공학 모델을 개발하는 기업들을 위한 데이터 생태계를 제공하기 위해 XDOF를 설립했다. 단순히 데이터를 제공하는 것만으로는 사업적 한계가 있을 수 있음을 인지한 이 회사는 데이터 정제, 툴링, 주석 달기에도 주력하며, 로봇 훈련자들을 위한 자기 강화형 피드백 루프를 구축하고 있다.

시작점으로, 이 회사는 UC 버클리 AI 연구소와 협력하여 ‘ABC’라는 이름으로, 지금까지 수집된 것 중 가장 방대한 고품질 로봇 훈련 데이터 모음을 공개할 예정이다. 여기에는 13만 개의 로봇 조작 궤적 데이터, 300시간 분량의 시뮬레이션 데이터, 그리고 100시간 분량의 평가 데이터가 포함되어 있다. 이러한 대규모 사전 훈련 데이터는 학계에서 이전에 한 번도 접할 수 없었던 것입니다.

이번 데이터 공개를 주도한 버클리 대학 박사 과정 학생 데이비드 맥앨리스터(David McAllister)는 테크크런치(TechCrunch)와의 인터뷰에서 “언어, 이미지 생성 및 기타 분야에서 모델과 데이터가 공개되면, 커뮤니티가 예상치 못했던 성과를 달성하는 것을 목격해 왔습니다”라고 말했습니다.

연구팀은 이미 이 데이터를 활용해 티셔츠 접기, 상자 평평하게 펴기, 에어팟을 케이스에 넣기 같은 벤치마크 과제에 대해 로봇을 훈련시켰습니다.

무한한 자유도

이 회사는 데이터 피라미드의 세 가지 계층을 아우르는 작업을 진행할 계획이다. 가장 가치 있는 계층은 실제 배치된 로봇에서 수집된 원격 조작 데이터이며, 그 다음은 GELLO와 같이 더 일반적인 데이터를 수집하는 원격 조작 로봇, 마지막으로 일상적인 작업을 수행하는 사람이 수집한 ‘자기 중심(egocentric)’ 데이터로, XDOF는 이를 위해 자체 웨어러블 센서를 개발할 계획이다.

“카메라 선택은 데이터 품질에 영향을 미치며, 이는 손 추적 알고리즘의 성능에도 영향을 미칩니다.”라고 우(Wu)는 말했다. “처음부터 하드웨어를 잘 설계하지 않으면, 수집한 데이터에 예상치 못한 매우 구체적인 문제가 발생할 수 있습니다.”

이 회사는 전 세계적으로 수많은 원격 조작자와 자기중심 데이터 운영자를 채용하고 교육할 계획입니다. 이는 노동 집약적인 모델로, 한 가지 명백한 의문을 제기합니다. 왜 주요 연구소들은 이러한 데이터 생산 작업을 직접 수행하지 않는 것일까요?

“수백 대의 로봇이 있는 수십만 평방피트 규모의 창고가 필요합니다,”라고 우는 말했다. “이 로봇들을 유지 관리하고, 물리적 매개변수를 보정하며, 운영자를 적절히 교육해야 합니다.”

이는 집중력과 자본, 운영 규모를 필요로 하는 대규모 구축 작업으로, 대부분의 AI 연구소는 이를 외주화하는 것을 선호합니다. 바로 이것이 XDOF가 주목하고 있는 시장입니다.

XDOF라는 이름은 로봇 공학 용어인 ‘자유도(degrees of freedom)’에서 유래한 것으로, 로봇이 수행할 수 있는 독립적인 동작의 수를 의미합니다. 어깨에서 손목까지 이어지는 사람의 팔은 7개의 자유도를 가지고 있습니다. 휴머노이드 로봇 기업 Figure.AI의 최신 로봇은 30개의 자유도를 가지고 있습니다. 회사 이름에 들어간 ‘X’는 “임의의 자유도, 무한한 자유도”라는 XDOF의 야망을 담고 있다고 우(Wu)는 말합니다.