Lar
A Aliyun, do Alibaba, lança o Fun-CineForge: modelo e conjunto de dados de dublagem com qualidade cinematográfica disponibilizados como código aberto
Recentemente, o projeto Fun-CineForge, desenvolvido pela equipe de processamento de fala do Alibaba Tongyi Lab em colaboração com a Universidade de Ciência e Tecnologia da China, foi oficialmente disponibilizado como código aberto. Essa iniciativa aborda os principais desafios da dublagem de filmes e programas de televisão — como sincronização labial, transferência de estilo de voz e expressão emocional — por meio da introdução de um fluxo de trabalho de produção abrangente de ponta a ponta e de soluções baseadas em modelos de grande escala.

Principais avanços: resolvendo o problema da “falta de sincronização” na dublagem de filmes
A dublagem tradicional com IA frequentemente enfrenta problemas como movimentos labiais incompatíveis, expressão emocional robótica e dificuldade em se adaptar a cenas cinematográficas complexas envolvendo diálogos e acústica com várias pessoas. O Fun-CineForge alcança um avanço significativo por meio de duas inovações-chave:
Modelo de dublagem MLLM: indo além do simples alinhamento de áudio e vídeo na área dos lábios, ele emprega uma arquitetura de modelo de linguagem multimodal de grande porte (MLLM) capaz de compreender profundamente a identidade de um personagem e as nuances emocionais dentro de uma cena.
Conjunto de dados em grande escala CineDub: O projeto criou o primeiro conjunto de dados de dublagem de programas de TV chineses ricamente anotado por meio de um pipeline automatizado, cobrindo diversos cenários como monólogos, narração, diálogos e interações entre vários interlocutores.
Atualizações do projeto e roteiro de código aberto
O projeto tem recebido atualizações frequentes recentemente, indicando um alto nível de maturidade de engenharia:
Janeiro a março de 2026: Lançamento de conjuntos de dados de amostra e demonstrações tanto para chinês (CineDub-CN) quanto para inglês (CineDub-EN).
16 de março de 2026: Tornou oficialmente o código de inferência e os pesos do modelo (Checkpoints) de código aberto, permitindo que desenvolvedores acessem esses recursos no GitHub.
Acesso ao conjunto de dados: Vários conjuntos de dados de séries clássicas estão agora disponíveis para pesquisa, incluindo a série chinesa “O Sonho da Câmara Vermelha” e a série inglesa “Downton Abbey”.
Aplicação técnica: do “diálogo” à “interpretação”
Demonstrações oficiais mostram que o modelo apresenta resultados impressionantes na refilmagem de séries clássicas como “Romance dos Três Reinos”. Ao inserir “pistas emocionais” específicas, o modelo consegue capturar com precisão a mudança emocional de um personagem — do medo ao desafio —, alcançando clonagem de voz de alta fidelidade e sincronização labial natural.
O lançamento do Fun-CineForge sinaliza uma mudança na dublagem de filmes e programas de TV com IA, passando da simples "conversão de texto em fala" para uma ferramenta de "pós-produção automatizada" com compreensão artística. Esse avanço está prestes a reduzir significativamente os custos de produção de conteúdo dublado para cinema e televisão.
Projeto: https://funcineforge.github.io/
Artigo relacionado
Ações dos EUA Atingem Marco Histórico Enquanto Gigantes de IA e Aeroespacial se Preparam para Estreia de Trilião de Dólares
Elon Musk, Sam Altman e Dario Amodei, três titãs do setor de tecnologia, estão avançando rumo a ofertas públicas iniciais (IPOs) para suas respectivas empresas. Com a SpaceX, a OpenAI e a Anthropic — três gigantes da indústria que se aproximam de ava
Startup sueca de IA Lovable Eyes tem avaliação de US$ 13,2 bilhões após rodada principal de investimentos
À medida que as ferramentas de codificação impulsionadas por IA ganham tração, a startup sueca Lovable garantiu uma grande rodada de financiamento. A empresa visa captar US$ 3 bilhões, o que poderia elevar sua avaliação para US$ 13,2 bilhões — o dobr
O Google testa o Agente Remy AI para o Gemini, à medida que o foco se desloca para o controle do usuário
De acordo com o Business Insider, o Google está testando o Remy, um novo agente pessoal de IA para o Gemini. Esta ferramenta tem como objetivo executar tarefas em nome dos usuários, simplificando tanto os fluxos de trabalho profissionais quanto as ro
Recomendações de tópicos especiais relacionados
Comentários (0)
Recentemente, o projeto Fun-CineForge, desenvolvido pela equipe de processamento de fala do Alibaba Tongyi Lab em colaboração com a Universidade de Ciência e Tecnologia da China, foi oficialmente disponibilizado como código aberto. Essa iniciativa aborda os principais desafios da dublagem de filmes e programas de televisão — como sincronização labial, transferência de estilo de voz e expressão emocional — por meio da introdução de um fluxo de trabalho de produção abrangente de ponta a ponta e de soluções baseadas em modelos de grande escala.

Principais avanços: resolvendo o problema da “falta de sincronização” na dublagem de filmes
A dublagem tradicional com IA frequentemente enfrenta problemas como movimentos labiais incompatíveis, expressão emocional robótica e dificuldade em se adaptar a cenas cinematográficas complexas envolvendo diálogos e acústica com várias pessoas. O Fun-CineForge alcança um avanço significativo por meio de duas inovações-chave:
Modelo de dublagem MLLM: indo além do simples alinhamento de áudio e vídeo na área dos lábios, ele emprega uma arquitetura de modelo de linguagem multimodal de grande porte (MLLM) capaz de compreender profundamente a identidade de um personagem e as nuances emocionais dentro de uma cena.
Conjunto de dados em grande escala CineDub: O projeto criou o primeiro conjunto de dados de dublagem de programas de TV chineses ricamente anotado por meio de um pipeline automatizado, cobrindo diversos cenários como monólogos, narração, diálogos e interações entre vários interlocutores.
Atualizações do projeto e roteiro de código aberto
O projeto tem recebido atualizações frequentes recentemente, indicando um alto nível de maturidade de engenharia:
Janeiro a março de 2026: Lançamento de conjuntos de dados de amostra e demonstrações tanto para chinês (CineDub-CN) quanto para inglês (CineDub-EN).
16 de março de 2026: Tornou oficialmente o código de inferência e os pesos do modelo (Checkpoints) de código aberto, permitindo que desenvolvedores acessem esses recursos no GitHub.
Acesso ao conjunto de dados: Vários conjuntos de dados de séries clássicas estão agora disponíveis para pesquisa, incluindo a série chinesa “O Sonho da Câmara Vermelha” e a série inglesa “Downton Abbey”.
Aplicação técnica: do “diálogo” à “interpretação”
Demonstrações oficiais mostram que o modelo apresenta resultados impressionantes na refilmagem de séries clássicas como “Romance dos Três Reinos”. Ao inserir “pistas emocionais” específicas, o modelo consegue capturar com precisão a mudança emocional de um personagem — do medo ao desafio —, alcançando clonagem de voz de alta fidelidade e sincronização labial natural.
O lançamento do Fun-CineForge sinaliza uma mudança na dublagem de filmes e programas de TV com IA, passando da simples "conversão de texto em fala" para uma ferramenta de "pós-produção automatizada" com compreensão artística. Esse avanço está prestes a reduzir significativamente os custos de produção de conteúdo dublado para cinema e televisão.
Projeto: https://funcineforge.github.io/
Ações dos EUA Atingem Marco Histórico Enquanto Gigantes de IA e Aeroespacial se Preparam para Estreia de Trilião de Dólares
Elon Musk, Sam Altman e Dario Amodei, três titãs do setor de tecnologia, estão avançando rumo a ofertas públicas iniciais (IPOs) para suas respectivas empresas. Com a SpaceX, a OpenAI e a Anthropic — três gigantes da indústria que se aproximam de ava
Startup sueca de IA Lovable Eyes tem avaliação de US$ 13,2 bilhões após rodada principal de investimentos
À medida que as ferramentas de codificação impulsionadas por IA ganham tração, a startup sueca Lovable garantiu uma grande rodada de financiamento. A empresa visa captar US$ 3 bilhões, o que poderia elevar sua avaliação para US$ 13,2 bilhões — o dobr











