脳波は物理的なAIを解き放つことができるか？

物理AIの最前線は、カリフォルニア州サンレアンドロにある倉庫の中で行われる、高リスクなジャンケンゲームに似ている。

Encordはこの領域で活動し、AIモデルのトレーニングのためのデータツールを提供している。Andrew Cejaは「パイロット」（Encordがロボットトレーナーを指す用語）として、カメラ付きヘッドセットを着用し、不安定なタワーから木製のブロックを慎重に取り外している。このセットアップはロボットトレーニングデータの収集において標準的であるが、Cejaのヘッドセットには彼が構造物を解体する際に脳波を記録するセンサーも備わっている。

Encordは、ヒューマノイドや倉庫ロボットの主要なボトルネックがモデルアーキテクチャではなく、現実世界の物理トレーニングデータの不足であるという賭けをしているスタートアップの一つである。既存のデータを管理するだけでなく、Encordはロボット企業が欠いているデータを生成することを中心にビジネスモデルを構築している。

Cejaが装着する脳波ヘッドセットは、ドイツの神経科学スタートアップであるZander Labsによって開発された。彼らは、エラー、意図、または驚きなどの精神状態を推測するために脳活動を測定することで、モデルのトレーニングにより価値のあるデータセットを生成できると信じている。EncordとZanderの協力は現在試験段階であり、目標は最初に脳波タグ付きデータセットを作成し、顧客のロボットモデルでテストし、スケーリングする前にパフォーマンスの向上を評価することである。

プロジェクトを監督するZanderの神経科学者であるLucas Gehrkeは、特定のタスク中の脳活動のレベルが、モデル開発者に高負荷モデルをいつデプロイすべきかを示唆する手がかりを提供すると指摘している。

Encordのロボット学習責任者であるVineeth Velmuruganは、これをロボティクスデータのボトルネックを解決する「最前線」と呼んでいる。OpenAIのロボットラボと倉庫自動化企業であるBerkshire GreyのベテランであるVelmuruganは、Encordの社内データ作成チームを設立するためにEncordに加わった。

Encordは元々、機械ビジョンアプリケーションを構築する企業をデータ注釈とモデル評価の面で支援するために設立された。顧客、多くの主要なロボット企業（Velmuruganは名を明かさなかったが）がエンドツーエンドの学習をロボティクス操作に応用し始めると、経営陣はデータを管理するだけでなくトレーニングデータを生成する必要があることに気づいた。「データは単に存在しない」とVelmuruganは述べた。

チャットボットでそうであったように、生成AIがロボティクスを革命化するという仮定は、同じ壁にぶつかり続けている。LLMはインターネット上のテキスト全体およびそれ以上でトレーニングされた。ニューラルネットワークに物理的操作を教えるための同等の原材料を取得することは困難である：自動運転車会社は独自のデータを収集するが、これはスケーリングが難しい。ビデオからのトレーニングは可能であるが、それは現実世界のデータの忠実性に欠ける。Velmuruganは、突破するためにYouTubeのビデオコーパスの5倍のサイズのデータセットが必要であると推定しており、これがなぜデータ生成が単なる研究課題ではなく独立したビジネスとなったのかを説明している。

自己中心的数据需求を満たせ

ロボティクス開発者は現在、2つの主要なソースに依存している：作業員がカメラを着用してキャプチャした「自己中心」ビデオ（しばしば追加の角度と指標で補完される）と、遠隔操作ロボットからのデータである。Encordは両方を利用し、世界中の工場から自己中心データを収集し、サンレアンドロの施設を使用して、脳波などの新しいモダリティの実験や、微調整に焦点を当てた特定のスキルに関するデータセットの収集を行っている。

TechCrunchの訪問中、パイロットはリーダー・フォロワーの rigs（1つが人間によって直接制御され、もう1つがその動きを模倣するペアのロボットアーム）を使用して、コーヒーを注ぐ（こぼれやすい）やポーカーチップを積むなどのタスクのデータを生成した。「すべてのヒューマノイド会社がこれらのデータセットを要求している」とVelmuruganは指摘した。

収納ラックには、花瓶に入った偽の花、本、プラスチック製の野菜、猫砂トレイとスコップ、バッグ、ワイヤーの束など、家庭用タスクの操作者をトレーニングするための必須の小道具が箱詰めされていた。

あるステーションでは、別のパイロットであるSofia Infanteが、ロボットアームを操作してサーバー背面からイーサネットケーブルを挿抜していた。これはデータセンターのオペレーターがロボットが十分な精度でそれらを操作できれば自動化したいと願うタスクである。私がコントロールを操作してみれば、なぜこれがまだ遠いのかを理解できる：ロボットのピンサーは人間の指よりもはるかに器用さに欠け、私たちが当然としている自由度を欠いている。

Encordはまた、前腕に装着されたセンサーを使用して電気筋肉信号を検出する新しいデータモダリティを開発している。人間の手のビデオはしばしば手全体を捉えられないため、Velmuruganは腕センサーデータに基づいて手の位置の3D表現を作成し、モデルにより堅牢な理解を提供することを目指している。

Encordのデータセットは、「右手がボルトを締める」などのビデオコンテンツの物理的説明で注釈されており、LLMベースのモデルが行動を理解するのを助ける。Velmuruganは、この密度の高い注釈が特定のタスクのトレーニングには「ゴミのような自己中心データ」の100倍の価値があり、生成コストは20倍高いだけであると推定しており、紙の上では有利なトレードオフである。

しかし、「20倍高い」は実際の金額を意味し、これが問題点である：Stack OverflowなどのソースからLLMを構築するためにインターネットテキストをスクレイピングすることは、フロンティアラボにほとんどコストがかからなかった。物理トレーニングデータの生成はそうではない。これは、物理AIをLLMと比較する際の限界を浮き彫りにしている。このデータは収集するだけでなく製造する必要があり、モデル開発の経済学を根本的に変える。

Velmuruganは進歩がなされていると信じている。Encordの業界プログラムへの可視性により、彼はスタートアップやフロンティアラボが物理AIモデルを改善するために何が機能するかを決定するのを観察している。この複数のロボット企業間の位置取りは、Encordの価値提案の一部であり、単一の顧客が行う前に、業界全体で traction を得ているデータ技術を特定することを可能にする。

これは、Encordの施設にある dozen ほどのパイロットを忙しくさせるだろう。InfanteとCejaの両方は、ニューラルネットワークのビルディングブロックを開発する増加する労働力の一部であり、Encordに加わる前に別のAIデータ注釈企業であるScaleで働いていた。

Cejaは以前、廃棄物管理会社で働き、その技術への関心からロボットごみ分別機の保守を行っていた。今、ジャンケンタワーが崩壊する中で、彼はロボットのためのトレーニングタスクを解決する挑戦を楽しんでいる：「毎日新しいことが起こる！」