Maison
Le modèle audio open source de Meituan établit une nouvelle référence en matière de clonage vocal
La génération audio connaît actuellement une évolution fondamentale, passant d'architectures en cascade à plusieurs étapes à des modèles de bout en bout. Afin de pallier la perte d'informations et l'accumulation d'erreurs inhérentes à la représentation intermédiaire traditionnelle « spectrogramme Mel » utilisée dans les systèmes de synthèse vocale (TTS), l'équipe Meituan LongCat a officiellement publié et mis en open source LongCat-AudioDiT (disponible en versions 1B et 3,5B de paramètres). Ce modèle dépasse avec succès les limites de performance précédentes en matière de clonage vocal « zero-shot » en effectuant une modélisation directe de l'espace latent des formes d'onde.
Architecture de base : aller au-delà des spectrogrammes Mel
LongCat-AudioDiT abandonne le pipeline conventionnel en plusieurs étapes « prédiction des caractéristiques acoustiques + vocodeur neuronal » pour établir à la place une architecture minimale rationalisée reposant sur un Wav-VAE (Waveform Variational Autoencoder) et un DiT (Diffusion Transformer).
Wav-VAE efficace : grâce à une conception entièrement convolutive, il compresse les formes d'onde de 24 kHz d'un facteur de 2 000 pour atteindre une fréquence d'échantillonnage de 11,7 Hz. Grâce à des branches de raccourci non paramétriques et à un apprentissage antagoniste multi-objectifs, il garantit que la forme d'onde reconstruite conserve une structure temps-fréquence précise tout en offrant une excellente qualité d'écoute naturelle.
DiT à sémantique améliorée : le modèle fusionne de manière innovante les plongements de mots originaux provenant de l'encodeur de texte UMT5 avec ses états cachés de niveau supérieur. Cela compense les détails phonétiques perdus dans les représentations sémantiques de haut niveau, améliorant considérablement l'intelligibilité de la parole générée.
Optimisation de l'inférence : correction précise de la dérive vocale
Afin d'améliorer encore la qualité de la génération, l'équipe a mis en œuvre deux améliorations techniques essentielles :
Mécanisme à double contrainte : cette technique identifie et corrige le problème persistant de « décalage entre l'entraînement et l'inférence » dans la synthèse vocale par adaptation de flux. En réinitialisant de force les variables latentes dans la zone de prompt pendant l'inférence, elle résout complètement les problèmes de dérive et d'instabilité de la voix du locuteur.
Guidage par projection adaptative (APG) : l'APG remplace le guidage traditionnel sans classificateur (CFG). Il permet de filtrer avec précision les composantes bénéfiques du signal de guidage tout en supprimant celles qui causent une dégradation audio, améliorant ainsi considérablement le naturel de la parole sans induire de « sursaturation » spectrale.
Performances : précision de clonage de niveau SOTA
Lors des tests de référence sur l'ensemble de données Seed, LongCat-AudioDiT affiche des performances dominantes :
Similitude (SIM) : le modèle 3,5B a obtenu un score de 0,818 sur l'ensemble de test Seed-ZH et de 0,797 sur l'ensemble de phrases Seed-Hard, plus difficile, surpassant des modèles notables tels que Seed-TTS, CosyVoice3.5 et MiniMax-Speech.
Précision : il se classe parmi les meilleurs de l'industrie pour les indicateurs clés, avec notamment un WER de 1,50 % en anglais et un CER de 6,04 % pour les phrases difficiles en chinois.
Il est remarquable de constater que LongCat-AudioDiT obtient des résultats supérieurs à ceux des modèles entraînés en plusieurs étapes, en utilisant uniquement un entraînement en une seule étape sur des données de transcription ASR prétraitées. L'article de recherche associé, le code source et les poids du modèle sont désormais entièrement open source et disponibles sur GitHub et HuggingFace.
Liens vers le projet :
GitHub : https://github.com/meituan-longcat/LongCat-AudioDiT
HuggingFace : https://huggingface.co/meituan-longcat/LongCat-AudioDiT
Article connexe
Comment corriger les Core Web Vitals pour de meilleurs classements SEO
Fluidifiez les commentaires de bulletin avec des outils d'IAIntroductionOutils d'IA pour générer des commentaires de bulletinMagic SchoolAlmanac AIChat GPTUtilisation de Magic School pour générer des commentaires de bulletinConnexion à Magic Sc
Slackbot devient un agent d'IA
Slackbot, l’assistant automatisé intégré à la plateforme de messagerie d’entreprise Slack de Salesforce, évolue vers un agent d’intelligence artificielle. Le CTO de Salesforce, Parker Harris, envisage qu’il atteigne une notoriété virale comparable à
ByteDance renforce les incitations à l’IA centrale alors que Doubao bondit de 14,6 %
ByteDance a récemment organisé une réunion d’information sur l’évaluation de DouBao afin de dévoiler de nouvelles politiques d’incitation pour le personnel impliqué dans la division DouBao. Le prix d’exercice des actions DouBao a été relevé de 14,85
Recommandations de sujets spéciaux liés
Éducation et apprentissage
Outils d'étude basés sur l'IA pour les devoirs et la préparation aux examens
Les meilleurs outils d'IA de 2026 pour les devoirs et la préparation aux examens ! XIX.AI vous propose une sélection des outils les mieux notés, puissants et révolutionnaires, qui aident les élèves à booster leur productivité, à optimiser la réalisation de leurs devoirs et à réussir haut la main leurs examens grâce à des tests concrets. Découvrez un comparatif entre les versions gratuites et payantes, des classements détaillés et des options incontournables pour tirer pleinement parti de l'IA. Découvrez-les dès maintenant !
10 outils
xix.ai
Composition musicale
Outils de démo vocale par IA pour les auteurs-compositeurs, les accroches, les mélodies principales et les sessions de brouillons multilingues
2026 Derniers Meilleurs Outils de Démonstration Vocale par IA pour les Paroliers, Créateurs d’Accroches et Équipes de Contenu Multilingues ! XIX.AI a sélectionné une liste primée d’outils puissants et révolutionnaires, soumis à des tests rigoureux en conditions réelles. Vous y trouverez des données détaillées comparant les versions gratuites et payantes, des classements complets et des options incontournables à essayer pour améliorer votre efficacité d’écriture et libérer votre potentiel créatif. Explorez dès maintenant pour découvrir l’outil parfait répondant à tous vos besoins en contenu !
9 outils
xix.ai
Entreprise
Les meilleurs outils de veille concurrentielle basés sur l'IA pour les petites entreprises
Les meilleurs outils de recherche concurrentielle basés sur l’IA les plus récents et les mieux notés pour les petites entreprises en 2026 ! XIX.AI a sélectionné une collection extrêmement puissante et révolutionnaire, mise à jour chaque semaine à l’issue de tests rigoureux en conditions réelles et accompagnée de classements détaillés. Vous y trouverez un comparatif complet entre les versions gratuites et payantes pour vous aider à identifier les outils incontournables qui boosteront votre productivité et vous donneront un avantage concurrentiel. Découvrez-la dès maintenant pour trouver l'outil qui vous convient le mieux !
9 outils
xix.ai
Édition d'images
Outils de retouche par IA Photoshop pour les vêtements d’e-commerce, nettoyage de la peau et cohérence des couleurs
2026 Derniers meilleurs outils de retouche par IA Photoshop pour les vêtements e-commerce, le nettoyage de la peau et la cohérence des couleurs ! Cette liste soigneusement sélectionnée et hautement notée propose des solutions puissantes qui changent la donne, vous aidant à améliorer l’efficacité rédactionnelle, rationaliser la création de contenu et obtenir des résultats visuels parfaits sans effort. Chaque outil a été testé dans des conditions réelles grâce à des classements mis à jour chaque semaine, accompagnés de détails comparatifs entre versions gratuites et payantes. Soutenu par XIX.AI, c’est le guide incontournable pour quiconque souhaite exploiter son avantage grâce à l’IA. Explorez dès maintenant !
10 outils
xix.ai
Rapide
Les meilleures bibliothèques de prompts d'IA pour les workflows ChatGPT
2026 : les meilleures bibliothèques de prompts IA les mieux notées pour optimiser tous les types de flux de travail ChatGPT. XIX.AI a sélectionné une collection puissante et révolutionnaire, soumise à des tests rigoureux en conditions réelles afin de garantir des performances optimales. Vous trouverez des comparaisons détaillées entre les solutions gratuites et payantes, ainsi que des classements d'experts pour vous aider à choisir les outils incontournables qui boosteront votre productivité et vous permettront de tirer pleinement parti de l'IA. Découvrez-les dès maintenant !
11 outils
xix.ai
Éducation et apprentissage
Plateformes de création de quiz IA pour les enseignants, les tuteurs et les programmes d’apprentissage en cohorte
2026 Dernières Meilleures Plateformes de Création de Quiz par IA pour les Enseignants, Tuteurs et Programmes d’Apprentissage en Cohorte ! XIX.AI a sélectionné une liste hautement notée d’outils puissants et transformateurs, testés dans des situations réelles pour garantir des classements précis. Ces plateformes incontournables permettent d’améliorer l’efficacité rédactionnelle, de simplifier la création de contenu et de faciliter la conception de quiz dans tous les contextes d’apprentissage. Explorez dès maintenant pour découvrir l’outil idéal qui vous permettra de tirer parti de l’avantage offert par l’IA dans votre enseignement !
13 outils
xix.ai
commentaires (1)
![FredGreen]()
Honestly, the switch from multi-stage cascades to end-to-end models in audio generation sounds like a huge leap forward. But I'm wondering—how do they ensure the cloned voice doesn't pick up weird artifacts or biases from the training data? Also, open-sourcing it is cool, but I hope they've thought about potential misuse, like deepfake audio scams. 😅
La génération audio connaît actuellement une évolution fondamentale, passant d'architectures en cascade à plusieurs étapes à des modèles de bout en bout. Afin de pallier la perte d'informations et l'accumulation d'erreurs inhérentes à la représentation intermédiaire traditionnelle « spectrogramme Mel » utilisée dans les systèmes de synthèse vocale (TTS), l'équipe Meituan LongCat a officiellement publié et mis en open source LongCat-AudioDiT (disponible en versions 1B et 3,5B de paramètres). Ce modèle dépasse avec succès les limites de performance précédentes en matière de clonage vocal « zero-shot » en effectuant une modélisation directe de l'espace latent des formes d'onde.
Architecture de base : aller au-delà des spectrogrammes Mel
LongCat-AudioDiT abandonne le pipeline conventionnel en plusieurs étapes « prédiction des caractéristiques acoustiques + vocodeur neuronal » pour établir à la place une architecture minimale rationalisée reposant sur un Wav-VAE (Waveform Variational Autoencoder) et un DiT (Diffusion Transformer).
Wav-VAE efficace : grâce à une conception entièrement convolutive, il compresse les formes d'onde de 24 kHz d'un facteur de 2 000 pour atteindre une fréquence d'échantillonnage de 11,7 Hz. Grâce à des branches de raccourci non paramétriques et à un apprentissage antagoniste multi-objectifs, il garantit que la forme d'onde reconstruite conserve une structure temps-fréquence précise tout en offrant une excellente qualité d'écoute naturelle.
DiT à sémantique améliorée : le modèle fusionne de manière innovante les plongements de mots originaux provenant de l'encodeur de texte UMT5 avec ses états cachés de niveau supérieur. Cela compense les détails phonétiques perdus dans les représentations sémantiques de haut niveau, améliorant considérablement l'intelligibilité de la parole générée.
Optimisation de l'inférence : correction précise de la dérive vocale
Afin d'améliorer encore la qualité de la génération, l'équipe a mis en œuvre deux améliorations techniques essentielles :
Mécanisme à double contrainte : cette technique identifie et corrige le problème persistant de « décalage entre l'entraînement et l'inférence » dans la synthèse vocale par adaptation de flux. En réinitialisant de force les variables latentes dans la zone de prompt pendant l'inférence, elle résout complètement les problèmes de dérive et d'instabilité de la voix du locuteur.
Guidage par projection adaptative (APG) : l'APG remplace le guidage traditionnel sans classificateur (CFG). Il permet de filtrer avec précision les composantes bénéfiques du signal de guidage tout en supprimant celles qui causent une dégradation audio, améliorant ainsi considérablement le naturel de la parole sans induire de « sursaturation » spectrale.
Performances : précision de clonage de niveau SOTA
Lors des tests de référence sur l'ensemble de données Seed, LongCat-AudioDiT affiche des performances dominantes :
Similitude (SIM) : le modèle 3,5B a obtenu un score de 0,818 sur l'ensemble de test Seed-ZH et de 0,797 sur l'ensemble de phrases Seed-Hard, plus difficile, surpassant des modèles notables tels que Seed-TTS, CosyVoice3.5 et MiniMax-Speech.
Précision : il se classe parmi les meilleurs de l'industrie pour les indicateurs clés, avec notamment un WER de 1,50 % en anglais et un CER de 6,04 % pour les phrases difficiles en chinois.
Il est remarquable de constater que LongCat-AudioDiT obtient des résultats supérieurs à ceux des modèles entraînés en plusieurs étapes, en utilisant uniquement un entraînement en une seule étape sur des données de transcription ASR prétraitées. L'article de recherche associé, le code source et les poids du modèle sont désormais entièrement open source et disponibles sur GitHub et HuggingFace.
Liens vers le projet :
GitHub : https://github.com/meituan-longcat/LongCat-AudioDiT
HuggingFace : https://huggingface.co/meituan-longcat/LongCat-AudioDiT
Comment corriger les Core Web Vitals pour de meilleurs classements SEO
Fluidifiez les commentaires de bulletin avec des outils d'IAIntroductionOutils d'IA pour générer des commentaires de bulletinMagic SchoolAlmanac AIChat GPTUtilisation de Magic School pour générer des commentaires de bulletinConnexion à Magic Sc
Slackbot devient un agent d'IA
Slackbot, l’assistant automatisé intégré à la plateforme de messagerie d’entreprise Slack de Salesforce, évolue vers un agent d’intelligence artificielle. Le CTO de Salesforce, Parker Harris, envisage qu’il atteigne une notoriété virale comparable à
ByteDance renforce les incitations à l’IA centrale alors que Doubao bondit de 14,6 %
ByteDance a récemment organisé une réunion d’information sur l’évaluation de DouBao afin de dévoiler de nouvelles politiques d’incitation pour le personnel impliqué dans la division DouBao. Le prix d’exercice des actions DouBao a été relevé de 14,85
Les meilleurs outils d'IA de 2026 pour les devoirs et la préparation aux examens ! XIX.AI vous propose une sélection des outils les mieux notés, puissants et révolutionnaires, qui aident les élèves à booster leur productivité, à optimiser la réalisation de leurs devoirs et à réussir haut la main leurs examens grâce à des tests concrets. Découvrez un comparatif entre les versions gratuites et payantes, des classements détaillés et des options incontournables pour tirer pleinement parti de l'IA. Découvrez-les dès maintenant !
10 outils
xix.ai
2026 Derniers Meilleurs Outils de Démonstration Vocale par IA pour les Paroliers, Créateurs d’Accroches et Équipes de Contenu Multilingues ! XIX.AI a sélectionné une liste primée d’outils puissants et révolutionnaires, soumis à des tests rigoureux en conditions réelles. Vous y trouverez des données détaillées comparant les versions gratuites et payantes, des classements complets et des options incontournables à essayer pour améliorer votre efficacité d’écriture et libérer votre potentiel créatif. Explorez dès maintenant pour découvrir l’outil parfait répondant à tous vos besoins en contenu !
9 outils
xix.ai
Les meilleurs outils de recherche concurrentielle basés sur l’IA les plus récents et les mieux notés pour les petites entreprises en 2026 ! XIX.AI a sélectionné une collection extrêmement puissante et révolutionnaire, mise à jour chaque semaine à l’issue de tests rigoureux en conditions réelles et accompagnée de classements détaillés. Vous y trouverez un comparatif complet entre les versions gratuites et payantes pour vous aider à identifier les outils incontournables qui boosteront votre productivité et vous donneront un avantage concurrentiel. Découvrez-la dès maintenant pour trouver l'outil qui vous convient le mieux !
9 outils
xix.ai
2026 Derniers meilleurs outils de retouche par IA Photoshop pour les vêtements e-commerce, le nettoyage de la peau et la cohérence des couleurs ! Cette liste soigneusement sélectionnée et hautement notée propose des solutions puissantes qui changent la donne, vous aidant à améliorer l’efficacité rédactionnelle, rationaliser la création de contenu et obtenir des résultats visuels parfaits sans effort. Chaque outil a été testé dans des conditions réelles grâce à des classements mis à jour chaque semaine, accompagnés de détails comparatifs entre versions gratuites et payantes. Soutenu par XIX.AI, c’est le guide incontournable pour quiconque souhaite exploiter son avantage grâce à l’IA. Explorez dès maintenant !
10 outils
xix.ai
2026 : les meilleures bibliothèques de prompts IA les mieux notées pour optimiser tous les types de flux de travail ChatGPT. XIX.AI a sélectionné une collection puissante et révolutionnaire, soumise à des tests rigoureux en conditions réelles afin de garantir des performances optimales. Vous trouverez des comparaisons détaillées entre les solutions gratuites et payantes, ainsi que des classements d'experts pour vous aider à choisir les outils incontournables qui boosteront votre productivité et vous permettront de tirer pleinement parti de l'IA. Découvrez-les dès maintenant !
11 outils
xix.ai
2026 Dernières Meilleures Plateformes de Création de Quiz par IA pour les Enseignants, Tuteurs et Programmes d’Apprentissage en Cohorte ! XIX.AI a sélectionné une liste hautement notée d’outils puissants et transformateurs, testés dans des situations réelles pour garantir des classements précis. Ces plateformes incontournables permettent d’améliorer l’efficacité rédactionnelle, de simplifier la création de contenu et de faciliter la conception de quiz dans tous les contextes d’apprentissage. Explorez dès maintenant pour découvrir l’outil idéal qui vous permettra de tirer parti de l’avantage offert par l’IA dans votre enseignement !
13 outils
xix.ai
Honestly, the switch from multi-stage cascades to end-to-end models in audio generation sounds like a huge leap forward. But I'm wondering—how do they ensure the cloned voice doesn't pick up weird artifacts or biases from the training data? Also, open-sourcing it is cool, but I hope they've thought about potential misuse, like deepfake audio scams. 😅
