Maison
Le laboratoire Tongyi d'Alibaba met Fun-CineForge en open source et relève le défi du doublage multilingue
Le doublage vocal traditionnel basé sur l'IA se révèle souvent insuffisant dans les productions à fort enjeu telles que les films et les animations, où il est primordial de saisir les nuances émotionnelles et d'assurer une synchronisation parfaite des mouvements des lèvres. Pour relever ce défi majeur du secteur, Tongyi Lab a officiellement lancé et mis en open source Fun-CineForge , un modèle de doublage multimodal révolutionnaire de qualité cinématographique, adapté à de multiples scénarios.
Combler le fossé audiovisuel : un cadre en quatre piliers pour une synchronisation parfaite
Plutôt que de s'appuyer sur une simple synthèse vocale, Fun-CineForge est conçu pour maîtriser quatre dimensions essentielles du doublage professionnel :
Synchronisation labiale : garantit que la parole synthétisée s'aligne avec une précision exceptionnelle sur les mouvements de la bouche des personnages à l'écran.
Expression émotionnelle : insuffle à la voix des émotions authentiques, semblables à celles d'un être humain, en analysant les expressions faciales et les instructions contextuelles.
Cohérence vocale : maintient une identité vocale stable et reconnaissable pour des personnages spécifiques dans des scènes de dialogue complexes impliquant plusieurs locuteurs.
Alignement temporel : permet l'insertion de dialogues avec une précision à la milliseconde près, même lorsque le locuteur est hors champ ou partiellement masqué.
Innovation fondamentale : la « modalité temporelle » pionnière et un ensemble de données haute fidélité
Le bond en avant technique de Fun-CineForge découle de sa philosophie unique de co-conception « données + modèle » :
L'ensemble de données haute qualité CineDub : le laboratoire Tongyi a également mis en open source le pipeline automatisé de construction de l'ensemble de données CineDub. Grâce à un mécanisme de correction d'erreurs par chaîne de pensée, il réduit les taux d'erreurs de transcription pour les textes en chinois et en anglais à environ 1 % - 2 % et ramène les erreurs de diarisation des locuteurs à seulement 1,2 %.
Architecture de fusion à quatre modalités : le modèle est le premier à intégrer une « modalité temporelle », modélisant conjointement les entrées visuelles (forme des lèvres et expression), le texte (dialogue et contexte émotionnel) et l'audio (référence vocale). Cette fusion permet une synchronisation parfaite dans les scènes difficiles, y compris celles où les visages ne sont pas visibles.
Excellence démontrée : un doublage de dialogues à plusieurs personnages authentique et novateur
Les résultats des tests de performance montrent que Fun-CineForge surpasse largement les modèles de référence tels que DeepDubber-V1 sur des indicateurs clés : taux d'erreur sur les mots (WER/CER), synchronisation labiale (LSE-C/D) et similarité vocale. Une avancée majeure réside dans sa capacité unique à gérer avec précision les dialogues en duo et à plusieurs personnages, faisant preuve d'une robustesse remarquable sur des clips vidéo pouvant atteindre 30 secondes.
GitHub : https://github.com/FunAudioLLM/FunCineForge
HuggingFace : https://huggingface.co/FunAudioLLM/Fun-CineForge
ModelScope : https://www.modelscope.cn/models/FunAudioLLM/Fun-CineForge/
Article connexe
La Corée du Sud pose la première pierre du centre national de calcul en intelligence artificielle, investissant 2,5 billions de wons avec un objectif pour 2028
Le journal sud-coréen EtNews rapporte que la cérémonie de pose de la première pierre du Centre de calcul IA de Corée (KOACC) s’est tenue le 3 août au parc de centres de données Solar City à Sunan, dans la province du Jeollanam-do. Doté d’un investiss
Six géants de la technologie soutiennent la Linux Foundation avec 12,5 millions de dollars pour faire face au bruit des vulnérabilités de l'IA
Pour faire face à l'afflux de rapports de sécurité de faible qualité produits par des outils d'automatisation basés sur l'intelligence artificielle, six grandes entreprises technologiques — Anthropic, Amazon (AWS), GitHub, Google, Microsoft et OpenAI
Musk envisageait de laisser OpenAI à ses enfants alors qu'Altman témoigne
Ce matin, le PDG d’OpenAI, Sam Altman, a pris la parole pour répondre au procès intenté par l’ancien cofondateur Elon Musk, qui conteste la structure corporative de l’entreprise.Interrogé sur l’allégation de Musk selon laquelle d’autres fondateurs «
Recommandations de sujets spéciaux liés
Composition musicale
Outils de démo vocale par IA pour les auteurs-compositeurs, les accroches, les mélodies principales et les sessions de brouillons multilingues
2026 Derniers Meilleurs Outils de Démonstration Vocale par IA pour les Paroliers, Créateurs d’Accroches et Équipes de Contenu Multilingues ! XIX.AI a sélectionné une liste primée d’outils puissants et révolutionnaires, soumis à des tests rigoureux en conditions réelles. Vous y trouverez des données détaillées comparant les versions gratuites et payantes, des classements complets et des options incontournables à essayer pour améliorer votre efficacité d’écriture et libérer votre potentiel créatif. Explorez dès maintenant pour découvrir l’outil parfait répondant à tous vos besoins en contenu !
9 outils
xix.ai
Entreprise
Les meilleurs outils de veille concurrentielle basés sur l'IA pour les petites entreprises
Les meilleurs outils de recherche concurrentielle basés sur l’IA les plus récents et les mieux notés pour les petites entreprises en 2026 ! XIX.AI a sélectionné une collection extrêmement puissante et révolutionnaire, mise à jour chaque semaine à l’issue de tests rigoureux en conditions réelles et accompagnée de classements détaillés. Vous y trouverez un comparatif complet entre les versions gratuites et payantes pour vous aider à identifier les outils incontournables qui boosteront votre productivité et vous donneront un avantage concurrentiel. Découvrez-la dès maintenant pour trouver l'outil qui vous convient le mieux !
9 outils
xix.ai
Édition d'images
Outils de retouche par IA Photoshop pour les vêtements d’e-commerce, nettoyage de la peau et cohérence des couleurs
2026 Derniers meilleurs outils de retouche par IA Photoshop pour les vêtements e-commerce, le nettoyage de la peau et la cohérence des couleurs ! Cette liste soigneusement sélectionnée et hautement notée propose des solutions puissantes qui changent la donne, vous aidant à améliorer l’efficacité rédactionnelle, rationaliser la création de contenu et obtenir des résultats visuels parfaits sans effort. Chaque outil a été testé dans des conditions réelles grâce à des classements mis à jour chaque semaine, accompagnés de détails comparatifs entre versions gratuites et payantes. Soutenu par XIX.AI, c’est le guide incontournable pour quiconque souhaite exploiter son avantage grâce à l’IA. Explorez dès maintenant !
10 outils
xix.ai
Rapide
Les meilleures bibliothèques de prompts d'IA pour les workflows ChatGPT
2026 : les meilleures bibliothèques de prompts IA les mieux notées pour optimiser tous les types de flux de travail ChatGPT. XIX.AI a sélectionné une collection puissante et révolutionnaire, soumise à des tests rigoureux en conditions réelles afin de garantir des performances optimales. Vous trouverez des comparaisons détaillées entre les solutions gratuites et payantes, ainsi que des classements d'experts pour vous aider à choisir les outils incontournables qui boosteront votre productivité et vous permettront de tirer pleinement parti de l'IA. Découvrez-les dès maintenant !
11 outils
xix.ai
Éducation et apprentissage
Plateformes de création de quiz IA pour les enseignants, les tuteurs et les programmes d’apprentissage en cohorte
2026 Dernières Meilleures Plateformes de Création de Quiz par IA pour les Enseignants, Tuteurs et Programmes d’Apprentissage en Cohorte ! XIX.AI a sélectionné une liste hautement notée d’outils puissants et transformateurs, testés dans des situations réelles pour garantir des classements précis. Ces plateformes incontournables permettent d’améliorer l’efficacité rédactionnelle, de simplifier la création de contenu et de faciliter la conception de quiz dans tous les contextes d’apprentissage. Explorez dès maintenant pour découvrir l’outil idéal qui vous permettra de tirer parti de l’avantage offert par l’IA dans votre enseignement !
13 outils
xix.ai
code
Outils d'analyse des pull requests basés sur l'IA pour les équipes GitHub chargées de la refactorisation, de la correction des bogues et de la résolution des failles de sécurité
Les meilleurs outils 2026 d’analyse des pull requests par IA pour les équipes GitHub sont disponibles sur XIX.AI ! Cette sélection triée sur le volet présente des solutions puissantes et révolutionnaires qui optimisent la refactorisation, la correction des bugs et la détection des failles de sécurité dans tous les workflows d’équipe. Profitez d'une comparaison entre les versions gratuites et payantes, ainsi que de tests en conditions réelles et de classements détaillés pour vous aider à trouver l'outil idéal qui boostera considérablement votre productivité. Découvrez-les dès maintenant pour exploiter pleinement le potentiel de l'IA !
12 outils
xix.ai
commentaires (0)
Le doublage vocal traditionnel basé sur l'IA se révèle souvent insuffisant dans les productions à fort enjeu telles que les films et les animations, où il est primordial de saisir les nuances émotionnelles et d'assurer une synchronisation parfaite des mouvements des lèvres. Pour relever ce défi majeur du secteur, Tongyi Lab a officiellement lancé et mis en open source
Combler le fossé audiovisuel : un cadre en quatre piliers pour une synchronisation parfaite
Plutôt que de s'appuyer sur une simple synthèse vocale, Fun-CineForge est conçu pour maîtriser quatre dimensions essentielles du doublage professionnel :
Synchronisation labiale : garantit que la parole synthétisée s'aligne avec une précision exceptionnelle sur les mouvements de la bouche des personnages à l'écran.
Expression émotionnelle : insuffle à la voix des émotions authentiques, semblables à celles d'un être humain, en analysant les expressions faciales et les instructions contextuelles.
Cohérence vocale : maintient une identité vocale stable et reconnaissable pour des personnages spécifiques dans des scènes de dialogue complexes impliquant plusieurs locuteurs.
Alignement temporel : permet l'insertion de dialogues avec une précision à la milliseconde près, même lorsque le locuteur est hors champ ou partiellement masqué.
Innovation fondamentale : la « modalité temporelle » pionnière et un ensemble de données haute fidélité
Le bond en avant technique de Fun-CineForge découle de sa philosophie unique de co-conception « données + modèle » :
L'ensemble de données haute qualité CineDub : le laboratoire Tongyi a également mis en open source le pipeline automatisé de construction de l'ensemble de données CineDub. Grâce à un mécanisme de correction d'erreurs par chaîne de pensée, il réduit les taux d'erreurs de transcription pour les textes en chinois et en anglais à environ 1 % - 2 % et ramène les erreurs de diarisation des locuteurs à seulement 1,2 %.
Architecture de fusion à quatre modalités : le modèle est le premier à intégrer une « modalité temporelle », modélisant conjointement les entrées visuelles (forme des lèvres et expression), le texte (dialogue et contexte émotionnel) et l'audio (référence vocale). Cette fusion permet une synchronisation parfaite dans les scènes difficiles, y compris celles où les visages ne sont pas visibles.
Excellence démontrée : un doublage de dialogues à plusieurs personnages authentique et novateur
Les résultats des tests de performance montrent que Fun-CineForge surpasse largement les modèles de référence tels que DeepDubber-V1 sur des indicateurs clés : taux d'erreur sur les mots (WER/CER), synchronisation labiale (LSE-C/D) et similarité vocale. Une avancée majeure réside dans sa capacité unique à gérer avec précision les dialogues en duo et à plusieurs personnages, faisant preuve d'une robustesse remarquable sur des clips vidéo pouvant atteindre 30 secondes.
GitHub : https://github.com/FunAudioLLM/FunCineForge
HuggingFace : https://huggingface.co/FunAudioLLM/Fun-CineForge
ModelScope : https://www.modelscope.cn/models/FunAudioLLM/Fun-CineForge/
La Corée du Sud pose la première pierre du centre national de calcul en intelligence artificielle, investissant 2,5 billions de wons avec un objectif pour 2028
Le journal sud-coréen EtNews rapporte que la cérémonie de pose de la première pierre du Centre de calcul IA de Corée (KOACC) s’est tenue le 3 août au parc de centres de données Solar City à Sunan, dans la province du Jeollanam-do. Doté d’un investiss
Six géants de la technologie soutiennent la Linux Foundation avec 12,5 millions de dollars pour faire face au bruit des vulnérabilités de l'IA
Pour faire face à l'afflux de rapports de sécurité de faible qualité produits par des outils d'automatisation basés sur l'intelligence artificielle, six grandes entreprises technologiques — Anthropic, Amazon (AWS), GitHub, Google, Microsoft et OpenAI
Musk envisageait de laisser OpenAI à ses enfants alors qu'Altman témoigne
Ce matin, le PDG d’OpenAI, Sam Altman, a pris la parole pour répondre au procès intenté par l’ancien cofondateur Elon Musk, qui conteste la structure corporative de l’entreprise.Interrogé sur l’allégation de Musk selon laquelle d’autres fondateurs «
2026 Derniers Meilleurs Outils de Démonstration Vocale par IA pour les Paroliers, Créateurs d’Accroches et Équipes de Contenu Multilingues ! XIX.AI a sélectionné une liste primée d’outils puissants et révolutionnaires, soumis à des tests rigoureux en conditions réelles. Vous y trouverez des données détaillées comparant les versions gratuites et payantes, des classements complets et des options incontournables à essayer pour améliorer votre efficacité d’écriture et libérer votre potentiel créatif. Explorez dès maintenant pour découvrir l’outil parfait répondant à tous vos besoins en contenu !
9 outils
xix.ai
Les meilleurs outils de recherche concurrentielle basés sur l’IA les plus récents et les mieux notés pour les petites entreprises en 2026 ! XIX.AI a sélectionné une collection extrêmement puissante et révolutionnaire, mise à jour chaque semaine à l’issue de tests rigoureux en conditions réelles et accompagnée de classements détaillés. Vous y trouverez un comparatif complet entre les versions gratuites et payantes pour vous aider à identifier les outils incontournables qui boosteront votre productivité et vous donneront un avantage concurrentiel. Découvrez-la dès maintenant pour trouver l'outil qui vous convient le mieux !
9 outils
xix.ai
2026 Derniers meilleurs outils de retouche par IA Photoshop pour les vêtements e-commerce, le nettoyage de la peau et la cohérence des couleurs ! Cette liste soigneusement sélectionnée et hautement notée propose des solutions puissantes qui changent la donne, vous aidant à améliorer l’efficacité rédactionnelle, rationaliser la création de contenu et obtenir des résultats visuels parfaits sans effort. Chaque outil a été testé dans des conditions réelles grâce à des classements mis à jour chaque semaine, accompagnés de détails comparatifs entre versions gratuites et payantes. Soutenu par XIX.AI, c’est le guide incontournable pour quiconque souhaite exploiter son avantage grâce à l’IA. Explorez dès maintenant !
10 outils
xix.ai
2026 : les meilleures bibliothèques de prompts IA les mieux notées pour optimiser tous les types de flux de travail ChatGPT. XIX.AI a sélectionné une collection puissante et révolutionnaire, soumise à des tests rigoureux en conditions réelles afin de garantir des performances optimales. Vous trouverez des comparaisons détaillées entre les solutions gratuites et payantes, ainsi que des classements d'experts pour vous aider à choisir les outils incontournables qui boosteront votre productivité et vous permettront de tirer pleinement parti de l'IA. Découvrez-les dès maintenant !
11 outils
xix.ai
2026 Dernières Meilleures Plateformes de Création de Quiz par IA pour les Enseignants, Tuteurs et Programmes d’Apprentissage en Cohorte ! XIX.AI a sélectionné une liste hautement notée d’outils puissants et transformateurs, testés dans des situations réelles pour garantir des classements précis. Ces plateformes incontournables permettent d’améliorer l’efficacité rédactionnelle, de simplifier la création de contenu et de faciliter la conception de quiz dans tous les contextes d’apprentissage. Explorez dès maintenant pour découvrir l’outil idéal qui vous permettra de tirer parti de l’avantage offert par l’IA dans votre enseignement !
13 outils
xix.ai
Les meilleurs outils 2026 d’analyse des pull requests par IA pour les équipes GitHub sont disponibles sur XIX.AI ! Cette sélection triée sur le volet présente des solutions puissantes et révolutionnaires qui optimisent la refactorisation, la correction des bugs et la détection des failles de sécurité dans tous les workflows d’équipe. Profitez d'une comparaison entre les versions gratuites et payantes, ainsi que de tests en conditions réelles et de classements détaillés pour vous aider à trouver l'outil idéal qui boostera considérablement votre productivité. Découvrez-les dès maintenant pour exploiter pleinement le potentiel de l'IA !
12 outils
xix.ai
