뇌파가 물리적 AI를 해독할 수 있을까?

물리 AI의 최전선은 캘리포니아주 샌레안드로의 창고 안에서 고위험성 젠가 게임과 유사합니다.

Encord는 이 공간에서 AI 모델 학습을 위한 데이터 도구들을 제공합니다. Andrew Ceja는 “파일럿”(Encord의 로봇 훈련사 용어)으로, 불안정한 탑에서 나무 블록을 조심스럽게 추출합니다. 그는 카메라가 장착된 헤드셋을 착용하고 있습니다. 이 장치는 로봇 학습 데이터 수집의 표준이지만, Ceja의 헤드셋에는 그가 구조물을 해체하는 동안 뇌파를 기록하는 센서도 포함되어 있습니다.

Encord는 인간형 로봇 및 창고 로봇 기술의 주요 병목 현상이 모델 아키텍처가 아닌 실제 물리 학습 데이터의 부족이라는 점에 베팅하는 증가하는 스타트업 중 하나입니다. Encord는 기존 데이터를 단순히 관리하는 대신, 로봇 기술 기업이 결여한 데이터를 생성하는 비즈니스 모델을 구축하고 있습니다.

Ceja가 착용하는 뇌파 헤드셋은 독일의 신경과학 스타트업인 Zander Labs에서 개발했습니다. 그들은 뇌 활동을 측정하여 오류, 의도, 놀람과 같은 정신 상태를 추론함으로써 모델 학습을 위한 더 가치 있는 데이터셋을 생성할 수 있다고 믿습니다. Encord와 Zander의 협력은 현재 시험 단계에 있으며, 목표는 초기 뇌파 태그가 달린 데이터셋을 생성하고, 이를 고객 로봇 모델에 대해 테스트하며, 확장하기 전에 성능 개선을 평가하는 것입니다.

Zander의 신경과학자이자 프로젝트 책임자인 Lucas Gehrke는 특정 작업 중 뇌 활동의 수준이 모델 개발자에게 고부하 모델을 언제 배포해야 하는지에 대한 단서를 제공한다고 지적합니다.

Encord의 로봇 학습 책임자인 Vineeth Velmurugan은 이를 로봇 데이터 병목 현상을 해결하는 “최전선”이라고 설명합니다. OpenAI의 로봇 연구소와 Berkshire Grey(창고 자동화 기업)의 베테랑인 Velmurugan은 Encord에 합류하여 내부 데이터 생성 팀을 설립했습니다.

Encord는 원래 머신비전 애플리케이션을 구축하는 기업들을 데이터 주석 및 모델 평가로 지원하기 위해 설립되었습니다. 고객들—많은 로봇 기업들이 포함되지만 Velmurugan은 이름을 밝히지 않음—이 로봇 조작에 대한 엔드투엔드 학습을 적용하기 시작하자, 임원들은 데이터를 단순히 관리하는 것이 아니라 생성해야 한다는 것을 깨달았습니다. “데이터가 존재하지 않습니다,”라고 Velmurugan은 말했습니다.

생성형 AI가 챗봇에 그랬듯이 로봇 기술에 혁명을 일으킬 수 있다는 가정은 여전히 같은 벽에 부딪힙니다. LLM은 인터넷 텍스트 전체와 그 이상을 학습하여 훈련되었습니다. 신경망에게 물리적 조작에 대해 가르치기 위한 동등한 원자료를 확보하는 것은 어렵습니다. 자율주행차 회사는 자체 데이터를 수집하지만, 이는 확장하기 어렵습니다. 비디오로부터 학습하는 것은 가능하지만, 실제 데이터의 충실도가 부족합니다. Velmurugan은 YouTube의 비디오 코퍼스보다 5배 큰 데이터셋이 필요하다고 추정합니다—데이터 생성이 단순한 연구 과제가 아닌 독립적인 비즈니스가 된 이유를 설명합니다.

자아중심적 데이터 요구 충족

로봇 기술 개발자들은 이제 두 가지 주요 소스에 의존하고 있습니다: 카메라를 착용한 작업자가 촬영한 “자아중심적” 비디오(보통 추가 각도 및 지표로 보완됨)와 원격으로 작동되는 로봇의 데이터입니다. Encord는 이 둘 모두를 활용하여 전 세계 공장에서 자아중심적 데이터를 수집하고, 샌레안드로 시설을 사용하여 뇌파와 같은 새로운 모달리티를 실험하거나 미세 조정을 위해 특정 기술에 초점을 맞춘 데이터셋을 수집합니다.

TechCrunch 방문 기간 동안 파일럿들은 리더-팔로워 리그—하나가 인간에 의해 직접 제어되고 다른 하나가 그 움직임을 모방하는 쌍으로 된 로봇 팔—를 사용하여 커피 따르기(물결이 생기기 쉬움) 및 포커 칩 쌓기 같은 작업에 대한 데이터를 생성했습니다. “모든 인간형 로봇 회사가 이러한 데이터셋을 요청했습니다,”라고 Velmurugan은 언급했습니다.

수납 선반에는 꽃병에 넣은 가짜 꽃, 책, 플라스틱 채소, 고양이 모래 트레이와 삽, 가방, 전선 묶음 등이 담긴 상자를 보관하고 있었는데, 이는 가정용 작업을 위한 조작기 훈련에 필수적인 소품이었습니다.

한 스테이션에서 다른 파일럿인 Sofia Infante는 서버 뒷면에서 이더넷 케이블을 꽂고 빼는 작업을 위해 로봇 팔을 조종했습니다—데이터 센터 운영자들이 로봇이 충분한 정밀도로 이를 조작할 수 있다면 자동화하고 싶어하는 작업입니다. 제가 직접 조종기를 조작해 본 결과, 이것이 아직 실현 불가능한 이유를 알 수 있었습니다: 로봇 집게는 인간 손가락보다 훨씬 덜 민첩하며 우리가 당연시하는 자유도가 부족합니다.

Encord는 팔뚝에 착용한 센서를 사용하여 전기 근육 신호를 감지하는 새로운 데이터 모달리티도 개발하고 있습니다. 인간의 손 비디오는 종종 전체 손을 포착하지 못하기 때문에, Velmurugan은 팔 센서 데이터를 기반으로 손 위치의 3D 표현을 생성하여 모델에 더 강력한 이해를 제공하고자 합니다.

Encord의 데이터셋은 “오른손이 볼트를 조입니다”와 같은 비디오 콘텐츠의 물리적 설명으로 주석 처리되어 LLM 기반 모델이 작업을 이해하는 데 도움을 줍니다. Velmurugan은 이러한 밀도 높은 주석이 특정 작업 학습을 위한 “저품질 자아중심적 데이터”보다 100배 더 가치 있으며, 생산 비용은 20배 더 비싸지만—종이 위에서는 유리한 거래라고 추정합니다.

그러나 “20배 더 비싸다”는 실제 돈을 의미하며, 이것이 함정입니다: Stack Overflow와 같은 소스에서 LLM을 구축하기 위해 인터넷 텍스트를 스크래핑하는 것은 프론티어 연구소에 거의 비용이 들지 않았습니다. 물리 학습 데이터를 생성하는 것은 그렇지 않으며, 이는 물리 AI를 LLM과 비교하는 한계를 강조합니다. 이 데이터는 수집되는 것이 아니라 제조되어야 하며, 이는 모델 개발의 경제학을 근본적으로 변화시킵니다.

Velmurugan은 진전이 이루어지고 있다고 믿습니다. Encord의 산업 프로그램에 대한 가시성을 통해, 그는 스타트업과 프론티어 연구소가 물리 AI 모델을 개선하기 위해 무엇이 효과적인지 결정하는 것을 관찰합니다. 이 다중 로봇 기업 사이에 위치한 관점—Encord의 가치 제안의 일부—는 단일 고객보다 앞서 산업 전반에 걸쳐 traction을 얻고 있는 데이터 기술을 식별할 수 있게 해줍니다.

이는 Encord 시설의 dozen여섯 명의 파일럿들을 바쁘게 유지할 것입니다. Infante와 Ceja 모두 신경망 빌딩 블록을 개발하는 증가하는 노동력의 일부이며, Encord에 합류하기 전에 또 다른 AI 데이터 주석 회사인 Scale에서 일했습니다.

Ceja는 이전에 폐기물 관리 회사에서 일했으며, 그의 기술에 대한 관심은 로봇 쓰레기 분류기를 유지하는 것으로 이어졌습니다. 이제 젠가 탑이 무너지는 동안, 그는 로봇을 위한 학습 작업을 해결하는 도전을 즐깁니다: “매일 새로운 것입니다!”