opção
Lar
Notícias
A Aliyun, do Alibaba, lança o Fun-CineForge: modelo e conjunto de dados de dublagem com qualidade cinematográfica disponibilizados como código aberto

A Aliyun, do Alibaba, lança o Fun-CineForge: modelo e conjunto de dados de dublagem com qualidade cinematográfica disponibilizados como código aberto

7 de Maio de 2026
144

Recentemente, o projeto Fun-CineForge, desenvolvido pela equipe de processamento de fala do Alibaba Tongyi Lab em colaboração com a Universidade de Ciência e Tecnologia da China, foi oficialmente disponibilizado como código aberto. Essa iniciativa aborda os principais desafios da dublagem de filmes e programas de televisão — como sincronização labial, transferência de estilo de voz e expressão emocional — por meio da introdução de um fluxo de trabalho de produção abrangente de ponta a ponta e de soluções baseadas em modelos de grande escala.

image.png

Principais avanços: resolvendo o problema da “falta de sincronização” na dublagem de filmes

A dublagem tradicional com IA frequentemente enfrenta problemas como movimentos labiais incompatíveis, expressão emocional robótica e dificuldade em se adaptar a cenas cinematográficas complexas envolvendo diálogos e acústica com várias pessoas. O Fun-CineForge alcança um avanço significativo por meio de duas inovações-chave:

Modelo de dublagem MLLM: indo além do simples alinhamento de áudio e vídeo na área dos lábios, ele emprega uma arquitetura de modelo de linguagem multimodal de grande porte (MLLM) capaz de compreender profundamente a identidade de um personagem e as nuances emocionais dentro de uma cena.

Conjunto de dados em grande escala CineDub: O projeto criou o primeiro conjunto de dados de dublagem de programas de TV chineses ricamente anotado por meio de um pipeline automatizado, cobrindo diversos cenários como monólogos, narração, diálogos e interações entre vários interlocutores.

Atualizações do projeto e roteiro de código aberto

O projeto tem recebido atualizações frequentes recentemente, indicando um alto nível de maturidade de engenharia:

Janeiro a março de 2026: Lançamento de conjuntos de dados de amostra e demonstrações tanto para chinês (CineDub-CN) quanto para inglês (CineDub-EN).

16 de março de 2026: Tornou oficialmente o código de inferência e os pesos do modelo (Checkpoints) de código aberto, permitindo que desenvolvedores acessem esses recursos no GitHub.

Acesso ao conjunto de dados: Vários conjuntos de dados de séries clássicas estão agora disponíveis para pesquisa, incluindo a série chinesa “O Sonho da Câmara Vermelha” e a série inglesa “Downton Abbey”.

Aplicação técnica: do “diálogo” à “interpretação”

Demonstrações oficiais mostram que o modelo apresenta resultados impressionantes na refilmagem de séries clássicas como “Romance dos Três Reinos”. Ao inserir “pistas emocionais” específicas, o modelo consegue capturar com precisão a mudança emocional de um personagem — do medo ao desafio —, alcançando clonagem de voz de alta fidelidade e sincronização labial natural.

O lançamento do Fun-CineForge sinaliza uma mudança na dublagem de filmes e programas de TV com IA, passando da simples "conversão de texto em fala" para uma ferramenta de "pós-produção automatizada" com compreensão artística. Esse avanço está prestes a reduzir significativamente os custos de produção de conteúdo dublado para cinema e televisão.

Projeto: https://funcineforge.github.io/

Artigo relacionado
Ações dos EUA Atingem Marco Histórico Enquanto Gigantes de IA e Aeroespacial se Preparam para Estreia de Trilião de Dólares Ações dos EUA Atingem Marco Histórico Enquanto Gigantes de IA e Aeroespacial se Preparam para Estreia de Trilião de Dólares Elon Musk, Sam Altman e Dario Amodei, três titãs do setor de tecnologia, estão avançando rumo a ofertas públicas iniciais (IPOs) para suas respectivas empresas. Com a SpaceX, a OpenAI e a Anthropic — três gigantes da indústria que se aproximam de ava
Startup sueca de IA Lovable Eyes tem avaliação de US$ 13,2 bilhões após rodada principal de investimentos Startup sueca de IA Lovable Eyes tem avaliação de US$ 13,2 bilhões após rodada principal de investimentos À medida que as ferramentas de codificação impulsionadas por IA ganham tração, a startup sueca Lovable garantiu uma grande rodada de financiamento. A empresa visa captar US$ 3 bilhões, o que poderia elevar sua avaliação para US$ 13,2 bilhões — o dobr
O Google testa o Agente Remy AI para o Gemini, à medida que o foco se desloca para o controle do usuário O Google testa o Agente Remy AI para o Gemini, à medida que o foco se desloca para o controle do usuário De acordo com o Business Insider, o Google está testando o Remy, um novo agente pessoal de IA para o Gemini. Esta ferramenta tem como objetivo executar tarefas em nome dos usuários, simplificando tanto os fluxos de trabalho profissionais quanto as ro
Recomendações de tópicos especiais relacionados
escrita Os melhores geradores de esboços com IA para artigos longos de SEO
Os melhores geradores de esboços com IA para artigos longos de SEO

Os melhores e mais bem avaliados geradores de esboços com IA de 2026 para artigos longos de SEO, cuidadosamente selecionados pela XIX.AI. Essas ferramentas poderosas oferecem um auxílio revolucionário na criação rápida de conteúdo de alta qualidade, aumentando significativamente a eficiência na redação. Confira uma comparação entre versões gratuitas e pagas, além de testes práticos e classificações detalhadas, para ajudá-lo a encontrar a opção imperdível que melhor atenda às suas necessidades. Explore agora para aproveitar ao máximo as vantagens da IA.

8 ferramentas
xix.ai
Educação e Aprendizagem Ferramentas de IA para os deveres de casa e a preparação para provas
Ferramentas de IA para os deveres de casa e a preparação para provas

As melhores e mais recentes ferramentas de IA para lição de casa e preparação para provas em 2026! A XIX.AI seleciona uma lista das ferramentas mais bem avaliadas, poderosas e revolucionárias que ajudam os alunos a aumentar a produtividade, agilizar a realização das lições de casa e se sair muito bem nas provas por meio de testes práticos. Veja uma comparação entre versões gratuitas e pagas, classificações detalhadas e opções imperdíveis para aproveitar ao máximo as vantagens da IA. Explore agora!

10 ferramentas
xix.ai
Composição musical Ferramentas de Demonstração Vocal com IA para Compositores, Ganchos, Toplines e Sessões de Rascunho Multilíngues
Ferramentas de Demonstração Vocal com IA para Compositores, Ganchos, Toplines e Sessões de Rascunho Multilíngues

2026 Últimas Melhores Ferramentas de Demonstração Vocal com IA para Compositores, Criadores de Ganchos e Equipes de Conteúdo Multilíngue! A XIX.AI compilou uma lista de ferramentas altamente avaliadas e poderosas, que mudam o jogo e passaram por rigorosos testes no mundo real. Você encontrará dados detalhados de comparação entre versões gratuitas e pagas, classificações abrangentes e opções imperdíveis para ajudá-lo a aumentar a eficiência da escrita e desbloquear seu potencial criativo. Explore agora para descobrir a ferramenta perfeita para todas as suas necessidades de conteúdo!

9 ferramentas
xix.ai
Negócios As melhores ferramentas de pesquisa competitiva baseadas em IA para pequenas empresas
As melhores ferramentas de pesquisa competitiva baseadas em IA para pequenas empresas

As melhores e mais bem avaliadas ferramentas de pesquisa competitiva com IA de 2026 para pequenas empresas! A XIX.AI selecionou uma coleção extremamente poderosa e revolucionária, atualizada semanalmente com testes rigorosos no mundo real e classificações detalhadas. Você encontrará uma comparação abrangente entre versões gratuitas e pagas para ajudá-lo a identificar as ferramentas imperdíveis que aumentam sua produtividade e lhe proporcionam uma vantagem competitiva. Explore agora para descobrir a ferramenta perfeita para você!

9 ferramentas
xix.ai
Edição de imagem Ferramentas de Retoque com IA do Photoshop para Moda E-commerce, Limpeza de Pele e Consistência de Cor
Ferramentas de Retoque com IA do Photoshop para Moda E-commerce, Limpeza de Pele e Consistência de Cor

2026 Últimas Melhores Ferramentas de Retoque com IA do Photoshop para roupas de comércio eletrônico, limpeza de pele e consistência de cores! Esta lista curada de alta classificação apresenta soluções poderosas que mudam o jogo, ajudando você a aumentar a eficiência da escrita, simplificar a criação de conteúdo e obter resultados visuais perfeitos sem esforço. Cada ferramenta passou por testes do mundo real através de classificações atualizadas semanalmente, com detalhes completos sobre comparação entre gratuito e pago. Com o apoio da XIX.AI, é o guia essencial para quem deseja desbloquear sua vantagem com IA. Explore agora!

10 ferramentas
xix.ai
Incitar As melhores bibliotecas de prompts de IA para fluxos de trabalho do ChatGPT
As melhores bibliotecas de prompts de IA para fluxos de trabalho do ChatGPT

As melhores e mais bem avaliadas bibliotecas de prompts de IA de 2026 para otimizar todos os tipos de fluxos de trabalho do ChatGPT. A XIX.AI selecionou uma coleção poderosa e revolucionária, submetida a rigorosos testes no mundo real para garantir o máximo desempenho. Você encontra comparações detalhadas entre opções gratuitas e pagas, além de classificações de especialistas, para ajudá-lo a escolher as ferramentas indispensáveis que aumentam sua produtividade e potencializam suas vantagens em IA. Explore agora!

11 ferramentas
xix.ai
Comentários (0)
0/500
OR