Lar
Equipe de Li Feifei revela método para gerar campos de treinamento infinitos para robôs a partir de um único vídeo
Na inteligência incorporada, superar a lacuna entre a simulação e a realidade — conhecida como “Sim2Real” — tem sido, há muito tempo, um obstáculo persistente. As configurações de simulação são caras, e os modelos frequentemente perdem desempenho quando implantados em ambientes físicos. Um estudo colaborativo recente da equipe de Li Fei-Fei, do NVIDIA GEAR Lab e da Georgia Tech apresenta uma solução inovadora: o Real2Sim.
Chamado de “SimFoundry”, esse sistema cria simulações robóticas interativas, treináveis e testáveis usando vídeos simples do mundo real. Indo além da reconstrução 3D tradicional, o SimFoundry realiza uma análise profunda da cena para automatizar a criação do ambiente, reduzindo drasticamente o esforço necessário para construir simulações.

A principal inovação do SimFoundry envolve um ciclo fechado entre “gêmeos digitais” e “primos digitais”. O sistema extrai dados geométricos, físicos e interativos dos vídeos para construir gêmeos digitais de alta fidelidade. Em seguida, varia automaticamente a aparência, o layout e as tarefas para gerar diversos primos digitais. Isso permite que os desenvolvedores obtenham dados de treinamento praticamente ilimitados a partir de um único vídeo, possibilitando o aprendizado e a avaliação de estratégias de ponta a ponta dentro da simulação.
Experimentos confirmam o forte poder preditivo do SimFoundry, com o desempenho simulado do robô correspondendo de perto aos resultados do mundo real. Fundamentalmente, as estratégias treinadas com esses dados sintéticos se transferem efetivamente para a realidade sem necessidade de ajuste fino (“zero-shot”), destacando-se em tarefas complexas, como operações em várias etapas e coordenação de dois braços.
De autoria conjunta de especialistas líderes em robótica, incluindo membros-chave do NVIDIA GEAR Lab e da equipe de Li Fei-Fei, esse sistema de código aberto promete transformar o desenvolvimento da IA incorporada. Ao substituir a dispendiosa coleta manual de dados por tecnologia generativa, os robôs agora podem fazer a transição do laboratório para aplicações no mundo real com muito mais rapidez.
Link do artigo: https://arxiv.org/pdf/2606.28276v1
Artigo relacionado
A Anthropic lança o Claude Mythos para resolver a Conjectura de Erdős com uma prova concisa
Em 26 de maio, Sholto Douglas, engenheiro da Anthropic, publicou no X que seu modelo mais recente, Claude Mythos, havia resolvido um enigma centenário da geometria combinatória: a conjectura das distâncias unitárias de Erdős. Descrita como uma "prova
A Amazon adquirirá a Decart por US$ 7 bilhões, garantindo um adaptador-chave de chips de IA
De acordo com o Wall Street Journal, a Amazon está negociando a compra da startup de inteligência artificial Decart por uma avaliação estimada de US$ 7 bilhões. Se não surgirem lances concorrentes, a transação pode ser concluída em breve, destacando
Como o Locus enfrenta um dos maiores desafios da robótica: a manipulação
O NeuraGrasp manuseia diversos itens, incluindo pequenos recipientes, sacos plásticos porosos e tecidos. | Fonte: Locus RoboticsA Locus Robotics Corp. superou inúmeros desafios robóticos em ambientes
Recomendações de tópicos especiais relacionados
Comentários (0)
Na inteligência incorporada, superar a lacuna entre a simulação e a realidade — conhecida como “Sim2Real” — tem sido, há muito tempo, um obstáculo persistente. As configurações de simulação são caras, e os modelos frequentemente perdem desempenho quando implantados em ambientes físicos. Um estudo colaborativo recente da equipe de Li Fei-Fei, do NVIDIA GEAR Lab e da Georgia Tech apresenta uma solução inovadora: o Real2Sim.
Chamado de “SimFoundry”, esse sistema cria simulações robóticas interativas, treináveis e testáveis usando vídeos simples do mundo real. Indo além da reconstrução 3D tradicional, o SimFoundry realiza uma análise profunda da cena para automatizar a criação do ambiente, reduzindo drasticamente o esforço necessário para construir simulações.

A principal inovação do SimFoundry envolve um ciclo fechado entre “gêmeos digitais” e “primos digitais”. O sistema extrai dados geométricos, físicos e interativos dos vídeos para construir gêmeos digitais de alta fidelidade. Em seguida, varia automaticamente a aparência, o layout e as tarefas para gerar diversos primos digitais. Isso permite que os desenvolvedores obtenham dados de treinamento praticamente ilimitados a partir de um único vídeo, possibilitando o aprendizado e a avaliação de estratégias de ponta a ponta dentro da simulação.
Experimentos confirmam o forte poder preditivo do SimFoundry, com o desempenho simulado do robô correspondendo de perto aos resultados do mundo real. Fundamentalmente, as estratégias treinadas com esses dados sintéticos se transferem efetivamente para a realidade sem necessidade de ajuste fino (“zero-shot”), destacando-se em tarefas complexas, como operações em várias etapas e coordenação de dois braços.
De autoria conjunta de especialistas líderes em robótica, incluindo membros-chave do NVIDIA GEAR Lab e da equipe de Li Fei-Fei, esse sistema de código aberto promete transformar o desenvolvimento da IA incorporada. Ao substituir a dispendiosa coleta manual de dados por tecnologia generativa, os robôs agora podem fazer a transição do laboratório para aplicações no mundo real com muito mais rapidez.
Link do artigo: https://arxiv.org/pdf/2606.28276v1
A Anthropic lança o Claude Mythos para resolver a Conjectura de Erdős com uma prova concisa
Em 26 de maio, Sholto Douglas, engenheiro da Anthropic, publicou no X que seu modelo mais recente, Claude Mythos, havia resolvido um enigma centenário da geometria combinatória: a conjectura das distâncias unitárias de Erdős. Descrita como uma "prova
A Amazon adquirirá a Decart por US$ 7 bilhões, garantindo um adaptador-chave de chips de IA
De acordo com o Wall Street Journal, a Amazon está negociando a compra da startup de inteligência artificial Decart por uma avaliação estimada de US$ 7 bilhões. Se não surgirem lances concorrentes, a transação pode ser concluída em breve, destacando











