Lar
O Tongyi Lab, da Alibaba, torna o Fun-CineForge de código aberto e resolve o desafio da dublagem com vários locutores
A dublagem por IA tradicional muitas vezes fica aquém das expectativas em produções de alto nível, como filmes e animações, onde é fundamental captar nuances emocionais e sincronizar perfeitamente os movimentos labiais. Para enfrentar esse desafio central do setor, o Tongyi Lab lançou oficialmente e disponibilizou como código aberto o inovador modelo de dublagem multimodal para múltiplos cenários e de qualidade cinematográfica: o Fun-CineForge .
Preenchendo a lacuna audiovisual: uma estrutura de quatro pilares para sincronização perfeita
Em vez de depender da conversão básica de texto em fala, o Fun-CineForge foi projetado para dominar quatro dimensões críticas da dublagem profissional:
Sincronização labial: garante que a fala sintetizada se alinhe aos movimentos da boca dos personagens na tela com precisão excepcional.
Expressão emocional: infunde na voz emoções autênticas semelhantes às humanas, analisando sinais faciais e instruções contextuais.
Consistência vocal: mantém uma identidade vocal estável e reconhecível para personagens específicos em cenas complexas de diálogo com vários interlocutores.
Alinhamento temporal: permite a inserção de diálogos com precisão de milissegundos, mesmo quando o locutor está fora da tela ou parcialmente oculto.
Inovação central: pioneira na “modalidade temporal” e em um conjunto de dados de alta fidelidade
O salto técnico do Fun-CineForge decorre de sua filosofia única de co-projeto “dados + modelo”:
O Conjunto de Dados de Alta Qualidade CineDub: O Tongyi Lab também disponibilizou como código aberto o pipeline automatizado de construção do conjunto de dados CineDub. Utilizando um mecanismo de correção de erros de cadeia de pensamento, ele reduz as taxas de erro de transcrição para textos em chinês e inglês para aproximadamente 1% a 2% e reduz drasticamente os erros de diarização de falantes para até 1,2%.
Arquitetura de fusão de quatro modalidades: O modelo é pioneiro na integração de uma “modalidade temporal”, modelando conjuntamente entradas visuais (forma dos lábios e expressão), texto (diálogo e contexto emocional) e áudio (referência de voz). Essa fusão permite a sincronização exata em cenas desafiadoras, incluindo aquelas sem rostos visíveis.
Excelência comprovada: dublagem pioneira de diálogos autênticos com múltiplos personagens
Os resultados de benchmark demonstram que o Fun-CineForge supera substancialmente os modelos de referência, como o DeepDubber-V1, em métricas-chave: taxa de erro de palavras (WER/CER), sincronização labial (LSE-C/D) e similaridade de voz. Uma conquista marcante é sua capacidade inédita de lidar com diálogos em dueto e com múltiplos interlocutores com precisão, mostrando notável robustez em clipes de vídeo de até 30 segundos.
GitHub: https://github.com/FunAudioLLM/FunCineForge
HuggingFace: https://huggingface.co/FunAudioLLM/Fun-CineForge
ModelScope: https://www.modelscope.cn/models/FunAudioLLM/Fun-CineForge/
Artigo relacionado
MiniMax Lança Programa de Equipes 10x para Incentivar Especialistas Globais em IA
A MiniMax (Xiyu Technology), o Laboratório de Inteligência Artificial Geral, lançou oficialmente o "Equipe 10x", uma iniciativa global de colaboração de talentos. Este programa visa recrutar os melhores especialistas de diversos setores para explorar
A Coreia do Sul inicia a construção do Centro Nacional de Computação em IA, investindo 2,5 trilhões de won com meta para 2028
O outlet sul-coreano EtNews relata que a cerimônia de lançamento da pedra fundamental do Centro de Computação em IA da Coreia (KOACC) ocorreu em 3 de agosto no parque de data centers Solar City, em Sunan, Jeollanam-do. Com um investimento total de 2,
Seis Gigantes da Tecnologia Apoiam a Linux Foundation com US$ 12,5 Milhões para Enfrentar o Ruído das Vulnerabilidades de IA
Para enfrentar o fluxo de relatórios de segurança de baixa qualidade produzidos por ferramentas de automação de IA, seis grandes empresas de tecnologia — Anthropic, Amazon (AWS), GitHub, Google, Microsoft e OpenAI — contribuíram coletivamente com US$
Recomendações de tópicos especiais relacionados
Composição musical
Ferramentas de Demonstração Vocal com IA para Compositores, Ganchos, Toplines e Sessões de Rascunho Multilíngues
2026 Últimas Melhores Ferramentas de Demonstração Vocal com IA para Compositores, Criadores de Ganchos e Equipes de Conteúdo Multilíngue! A XIX.AI compilou uma lista de ferramentas altamente avaliadas e poderosas, que mudam o jogo e passaram por rigorosos testes no mundo real. Você encontrará dados detalhados de comparação entre versões gratuitas e pagas, classificações abrangentes e opções imperdíveis para ajudá-lo a aumentar a eficiência da escrita e desbloquear seu potencial criativo. Explore agora para descobrir a ferramenta perfeita para todas as suas necessidades de conteúdo!
9 ferramentas
xix.ai
Negócios
As melhores ferramentas de pesquisa competitiva baseadas em IA para pequenas empresas
As melhores e mais bem avaliadas ferramentas de pesquisa competitiva com IA de 2026 para pequenas empresas! A XIX.AI selecionou uma coleção extremamente poderosa e revolucionária, atualizada semanalmente com testes rigorosos no mundo real e classificações detalhadas. Você encontrará uma comparação abrangente entre versões gratuitas e pagas para ajudá-lo a identificar as ferramentas imperdíveis que aumentam sua produtividade e lhe proporcionam uma vantagem competitiva. Explore agora para descobrir a ferramenta perfeita para você!
9 ferramentas
xix.ai
Edição de imagem
Ferramentas de Retoque com IA do Photoshop para Moda E-commerce, Limpeza de Pele e Consistência de Cor
2026 Últimas Melhores Ferramentas de Retoque com IA do Photoshop para roupas de comércio eletrônico, limpeza de pele e consistência de cores! Esta lista curada de alta classificação apresenta soluções poderosas que mudam o jogo, ajudando você a aumentar a eficiência da escrita, simplificar a criação de conteúdo e obter resultados visuais perfeitos sem esforço. Cada ferramenta passou por testes do mundo real através de classificações atualizadas semanalmente, com detalhes completos sobre comparação entre gratuito e pago. Com o apoio da XIX.AI, é o guia essencial para quem deseja desbloquear sua vantagem com IA. Explore agora!
10 ferramentas
xix.ai
Incitar
As melhores bibliotecas de prompts de IA para fluxos de trabalho do ChatGPT
As melhores e mais bem avaliadas bibliotecas de prompts de IA de 2026 para otimizar todos os tipos de fluxos de trabalho do ChatGPT. A XIX.AI selecionou uma coleção poderosa e revolucionária, submetida a rigorosos testes no mundo real para garantir o máximo desempenho. Você encontra comparações detalhadas entre opções gratuitas e pagas, além de classificações de especialistas, para ajudá-lo a escolher as ferramentas indispensáveis que aumentam sua produtividade e potencializam suas vantagens em IA. Explore agora!
11 ferramentas
xix.ai
Educação e Aprendizagem
Plataformas de Construção de Questionários de IA para Professores, Tutores e Programas de Aprendizagem Baseados em Coortes
2026 Últimas Melhores Plataformas de Construção de Questionários com IA para Professores, Tutores e Programas de Aprendizagem Baseados em Coortes! A XIX.AI compilou uma lista de ferramentas poderosas e transformadoras, testadas em cenários reais, para garantir classificações precisas. Essas plataformas imperdíveis ajudam a aumentar a eficiência na escrita, otimizar a criação de conteúdo e simplificar o design de questionários em todos os cenários de aprendizado. Explore agora para descobrir a ferramenta perfeita para desbloquear sua vantagem com IA no ensino!
13 ferramentas
xix.ai
código
Ferramentas de revisão de pull requests com IA para equipes do GitHub que lidam com refatorações, bugs e falhas de segurança
As melhores e mais recentes ferramentas de 2026 para revisão de pull requests com IA para equipes do GitHub estão aqui no XIX.AI! Esta lista selecionada e com as melhores avaliações apresenta soluções poderosas e revolucionárias que otimizam a refatoração, a correção de bugs e a detecção de falhas de segurança em todos os fluxos de trabalho das equipes. Aproveite uma comparação entre versões gratuitas e pagas, além de testes reais e classificações detalhadas para ajudá-lo a encontrar a ferramenta perfeita que aumenta significativamente a produtividade. Explore agora para descobrir sua vantagem com IA!
12 ferramentas
xix.ai
Comentários (0)
A dublagem por IA tradicional muitas vezes fica aquém das expectativas em produções de alto nível, como filmes e animações, onde é fundamental captar nuances emocionais e sincronizar perfeitamente os movimentos labiais. Para enfrentar esse desafio central do setor, o Tongyi Lab lançou oficialmente e disponibilizou como código aberto o inovador modelo de dublagem multimodal para múltiplos cenários e de qualidade cinematográfica:
Preenchendo a lacuna audiovisual: uma estrutura de quatro pilares para sincronização perfeita
Em vez de depender da conversão básica de texto em fala, o Fun-CineForge foi projetado para dominar quatro dimensões críticas da dublagem profissional:
Sincronização labial: garante que a fala sintetizada se alinhe aos movimentos da boca dos personagens na tela com precisão excepcional.
Expressão emocional: infunde na voz emoções autênticas semelhantes às humanas, analisando sinais faciais e instruções contextuais.
Consistência vocal: mantém uma identidade vocal estável e reconhecível para personagens específicos em cenas complexas de diálogo com vários interlocutores.
Alinhamento temporal: permite a inserção de diálogos com precisão de milissegundos, mesmo quando o locutor está fora da tela ou parcialmente oculto.
Inovação central: pioneira na “modalidade temporal” e em um conjunto de dados de alta fidelidade
O salto técnico do Fun-CineForge decorre de sua filosofia única de co-projeto “dados + modelo”:
O Conjunto de Dados de Alta Qualidade CineDub: O Tongyi Lab também disponibilizou como código aberto o pipeline automatizado de construção do conjunto de dados CineDub. Utilizando um mecanismo de correção de erros de cadeia de pensamento, ele reduz as taxas de erro de transcrição para textos em chinês e inglês para aproximadamente 1% a 2% e reduz drasticamente os erros de diarização de falantes para até 1,2%.
Arquitetura de fusão de quatro modalidades: O modelo é pioneiro na integração de uma “modalidade temporal”, modelando conjuntamente entradas visuais (forma dos lábios e expressão), texto (diálogo e contexto emocional) e áudio (referência de voz). Essa fusão permite a sincronização exata em cenas desafiadoras, incluindo aquelas sem rostos visíveis.
Excelência comprovada: dublagem pioneira de diálogos autênticos com múltiplos personagens
Os resultados de benchmark demonstram que o Fun-CineForge supera substancialmente os modelos de referência, como o DeepDubber-V1, em métricas-chave: taxa de erro de palavras (WER/CER), sincronização labial (LSE-C/D) e similaridade de voz. Uma conquista marcante é sua capacidade inédita de lidar com diálogos em dueto e com múltiplos interlocutores com precisão, mostrando notável robustez em clipes de vídeo de até 30 segundos.
GitHub: https://github.com/FunAudioLLM/FunCineForge
HuggingFace: https://huggingface.co/FunAudioLLM/Fun-CineForge
ModelScope: https://www.modelscope.cn/models/FunAudioLLM/Fun-CineForge/
MiniMax Lança Programa de Equipes 10x para Incentivar Especialistas Globais em IA
A MiniMax (Xiyu Technology), o Laboratório de Inteligência Artificial Geral, lançou oficialmente o "Equipe 10x", uma iniciativa global de colaboração de talentos. Este programa visa recrutar os melhores especialistas de diversos setores para explorar
A Coreia do Sul inicia a construção do Centro Nacional de Computação em IA, investindo 2,5 trilhões de won com meta para 2028
O outlet sul-coreano EtNews relata que a cerimônia de lançamento da pedra fundamental do Centro de Computação em IA da Coreia (KOACC) ocorreu em 3 de agosto no parque de data centers Solar City, em Sunan, Jeollanam-do. Com um investimento total de 2,
Seis Gigantes da Tecnologia Apoiam a Linux Foundation com US$ 12,5 Milhões para Enfrentar o Ruído das Vulnerabilidades de IA
Para enfrentar o fluxo de relatórios de segurança de baixa qualidade produzidos por ferramentas de automação de IA, seis grandes empresas de tecnologia — Anthropic, Amazon (AWS), GitHub, Google, Microsoft e OpenAI — contribuíram coletivamente com US$
2026 Últimas Melhores Ferramentas de Demonstração Vocal com IA para Compositores, Criadores de Ganchos e Equipes de Conteúdo Multilíngue! A XIX.AI compilou uma lista de ferramentas altamente avaliadas e poderosas, que mudam o jogo e passaram por rigorosos testes no mundo real. Você encontrará dados detalhados de comparação entre versões gratuitas e pagas, classificações abrangentes e opções imperdíveis para ajudá-lo a aumentar a eficiência da escrita e desbloquear seu potencial criativo. Explore agora para descobrir a ferramenta perfeita para todas as suas necessidades de conteúdo!
9 ferramentas
xix.ai
As melhores e mais bem avaliadas ferramentas de pesquisa competitiva com IA de 2026 para pequenas empresas! A XIX.AI selecionou uma coleção extremamente poderosa e revolucionária, atualizada semanalmente com testes rigorosos no mundo real e classificações detalhadas. Você encontrará uma comparação abrangente entre versões gratuitas e pagas para ajudá-lo a identificar as ferramentas imperdíveis que aumentam sua produtividade e lhe proporcionam uma vantagem competitiva. Explore agora para descobrir a ferramenta perfeita para você!
9 ferramentas
xix.ai
2026 Últimas Melhores Ferramentas de Retoque com IA do Photoshop para roupas de comércio eletrônico, limpeza de pele e consistência de cores! Esta lista curada de alta classificação apresenta soluções poderosas que mudam o jogo, ajudando você a aumentar a eficiência da escrita, simplificar a criação de conteúdo e obter resultados visuais perfeitos sem esforço. Cada ferramenta passou por testes do mundo real através de classificações atualizadas semanalmente, com detalhes completos sobre comparação entre gratuito e pago. Com o apoio da XIX.AI, é o guia essencial para quem deseja desbloquear sua vantagem com IA. Explore agora!
10 ferramentas
xix.ai
As melhores e mais bem avaliadas bibliotecas de prompts de IA de 2026 para otimizar todos os tipos de fluxos de trabalho do ChatGPT. A XIX.AI selecionou uma coleção poderosa e revolucionária, submetida a rigorosos testes no mundo real para garantir o máximo desempenho. Você encontra comparações detalhadas entre opções gratuitas e pagas, além de classificações de especialistas, para ajudá-lo a escolher as ferramentas indispensáveis que aumentam sua produtividade e potencializam suas vantagens em IA. Explore agora!
11 ferramentas
xix.ai
2026 Últimas Melhores Plataformas de Construção de Questionários com IA para Professores, Tutores e Programas de Aprendizagem Baseados em Coortes! A XIX.AI compilou uma lista de ferramentas poderosas e transformadoras, testadas em cenários reais, para garantir classificações precisas. Essas plataformas imperdíveis ajudam a aumentar a eficiência na escrita, otimizar a criação de conteúdo e simplificar o design de questionários em todos os cenários de aprendizado. Explore agora para descobrir a ferramenta perfeita para desbloquear sua vantagem com IA no ensino!
13 ferramentas
xix.ai
As melhores e mais recentes ferramentas de 2026 para revisão de pull requests com IA para equipes do GitHub estão aqui no XIX.AI! Esta lista selecionada e com as melhores avaliações apresenta soluções poderosas e revolucionárias que otimizam a refatoração, a correção de bugs e a detecção de falhas de segurança em todos os fluxos de trabalho das equipes. Aproveite uma comparação entre versões gratuitas e pagas, além de testes reais e classificações detalhadas para ajudá-lo a encontrar a ferramenta perfeita que aumenta significativamente a produtividade. Explore agora para descobrir sua vantagem com IA!
12 ferramentas
xix.ai
