As ondas cerebrais podem desbloquear a IA física?

A fronteira da inteligência artificial física assemelha-se a um jogo de Jenga de alto risco dentro de um armazém em San Leandro, Califórnia.

A Encord opera neste espaço, fornecendo ferramentas de dados para o treinamento de modelos de IA. Andrew Ceja, um "piloto" (termo da Encord para treinadores robóticos), extrai cuidadosamente blocos de madeira de uma torre instável enquanto usa um headset equipado com câmera. Esta configuração é padrão para a coleta de dados de treinamento de robôs, mas o headset de Ceja também possui sensores que registram suas ondas cerebrais enquanto ele desmonta a estrutura.

A Encord está entre um número crescente de startups apostando que o principal gargalo para a robótica humanoides e de armazéns não é a arquitetura do modelo, mas a escassez de dados físicos de treinamento do mundo real. Em vez de apenas gerenciar dados existentes, a Encord está construindo um modelo de negócios em torno da geração dos dados que as empresas de robótica não possuem.

O headset de ondas cerebrais que Ceja usa foi desenvolvido pela Zander Labs, uma startup alemã de neurociência. Eles acreditam que medir a atividade cerebral para inferir estados mentais — como erro, intenção ou surpresa — pode gerar conjuntos de dados mais valiosos para o treinamento de modelos. A colaboração da Encord com a Zander é atualmente um teste; o objetivo é criar um conjunto de dados inicial com marcação de ondas cerebrais, testá-lo contra os modelos robóticos dos clientes e avaliar as melhorias de desempenho antes de escalar.

Lucas Gehrke, neurocientista da Zander que supervisiona o projeto, observa que o nível de atividade cerebral durante tarefas específicas fornece pistas para os desenvolvedores de modelos sobre quando implantar modelos de alto esforço.

Vineeth Velmurugan, chefe de aprendizado de robôs da Encord, descreve isso como a “fronteira extrema” na resolução do gargalo de dados da robótica. Veterano do laboratório de robôs da OpenAI e da Berkshire Grey, uma empresa de automação de armazéns, Velmurugun juntou-se à Encord para estabelecer sua equipe interna de criação de dados.

A Encord foi originalmente fundada para auxiliar empresas que criam aplicações de visão computacional com anotação de dados e avaliação de modelos. À medida que os clientes — muitas empresas líderes de robótica, embora não nomeadas por Velmurugan — começaram a aplicar o aprendizado de ponta a ponta na manipulação robótica, os executivos perceberam que precisavam gerar dados de treinamento em vez de apenas gerenciá-los. “Os dados simplesmente não existem”, afirmou Velmurugan.

A suposição de que a IA generativa pode revolucionar a robótica como o fez para os chatbots continua a esbarrar na mesma parede. Os LLMs foram treinados com todo o texto da internet e muito mais. Adquirir matérias-primas equivalentes para ensinar redes neurais sobre manipulação física é difícil: empresas de carros autônomos coletam seus próprios dados, mas isso é difícil de escalar. Embora o treinamento a partir de vídeo seja possível, ele não possui a fidelidade dos dados do mundo real. Velmurugan estima que um conjunto de dados cinco vezes maior que o acervo de vídeos do YouTube é necessário para superar esse obstáculo — explicando por que a geração de dados se tornou um negócio independente em vez de apenas um desafio de pesquisa.

Alimente suas necessidades de dados egocêntricos

Os desenvolvedores de robótica agora dependem de duas fontes principais: vídeos “egocêntricos” capturados por trabalhadores usando câmeras (muitas vezes complementados com ângulos e métricas adicionais) e dados de robôs operados remotamente. A Encord utiliza ambas, reunindo dados egocêntricos de fábricas globalmente e usando sua instalação em San Leandro para experimentar novas modalidades, como ondas cerebrais, ou para coletar conjuntos de dados focados em habilidades específicas para ajuste fino.

Durante uma visita da TechCrunch, pilotos usaram rigs de líder-seguidor — braços robóticos pareados onde um é controlado diretamente por um humano e o outro imita seus movimentos — para gerar dados para tarefas como despejar café (que é propenso a transbordar) e empilhar fichas de pôquer. “Todas as empresas humanoides solicitaram esses conjuntos de dados”, observou Velmurugan.

As prateleiras de armazenamento continham caixas de flores falsas em vasos, livros, vegetais plásticos, bandejas e pás para areia de gato, sacos e feixes de cabos — adereços essenciais para treinar manipuladores para tarefas domésticas.

Em uma estação, outro piloto, Sofia Infante, manobrou braços robóticos para conectar e desconectar cabos ethernet das partes traseiras dos servidores — uma tarefa que os operadores de data centers adorariam automatizar, desde que os robôs pudessem manipulá-los com precisão suficiente. Operar os controles eu mesmo revelou por que isso ainda está fora de alcance: as garras robóticas são muito menos destreas do que os dedos humanos e carecem dos graus de liberdade que damos como garantidos.

A Encord também está desenvolvendo uma nova modalidade de dados usando sensores presos ao antebraço para detectar sinais elétricos musculares. Como o vídeo das mãos humanas muitas vezes não captura a mão inteira, Velmurugan visa criar uma representação 3D da posição da mão com base nos dados dos sensores do braço, fornecendo aos modelos uma compreensão mais robusta.

Os conjuntos de dados da Encord são anotados com descrições físicas do conteúdo do vídeo — como “a mão direita aperta o parafuso” — para ajudar os modelos baseados em LLM a compreender as ações. Velmurugan estima que essa anotação densa é 100 vezes mais valiosa do que “dados egocêntricos ruins” para treinar tarefas específicas, custando apenas 20 vezes mais para produzir — uma troca favorável no papel.

No entanto, “20 vezes mais” representa dinheiro real, que é a pegadinha: raspar texto da internet para construir LLMs a partir de fontes como o Stack Overflow custou quase nada aos laboratórios de fronteira. Gerar dados físicos de treinamento não custa nada, destacando o limite de comparar a IA física aos LLMs. Estes dados devem ser fabricados, não apenas coletados, mudando fundamentalmente a economia do desenvolvimento de modelos.

Velmurugan acredita que o progresso está sendo feito. Com a visibilidade da Encord nos programas da indústria, ele observa startups e laboratórios de fronteira determinando o que funciona para melhorar os modelos de IA física. Este ponto de vista — posicionado entre várias empresas de robótica — é parte da proposta de valor da Encord, permitindo-lhes identificar técnicas de dados que estão ganhando tração em toda a indústria antes que qualquer único cliente o faça.

Isso manterá a dúzia de pilotos na instalação da Encord ocupados. Tanto Infante quanto Ceja fazem parte de uma força de trabalho crescente que desenvolve blocos de construção de redes neurais; eles trabalharam anteriormente na Scale, outra empresa de anotação de dados de IA, antes de se juntarem à Encord.

Ceja trabalhou anteriormente em uma empresa de gestão de resíduos, onde seu interesse por tecnologia o levou a manter um classificador robótico de lixo. Agora, enquanto a torre de Jenga desaba, ele aprecia o desafio de resolver tarefas de treinamento para robôs: “É algo novo todos os dias!”