option
Maison
Nouvelles
Le modèle TTS open source OmniVoice de Xiaomi permet le clonage sans apprentissage préalable dans plus de 600 langues

Le modèle TTS open source OmniVoice de Xiaomi permet le clonage sans apprentissage préalable dans plus de 600 langues

8 mai 2026
205

Récemment, l'équipe Kaldi de nouvelle génération (k2-fsa) de Xiaomi a officiellement mis en open source OmniVoice, un modèle de synthèse vocale multilingue de grande envergure fonctionnant en mode « zero-shot » et prenant en charge plus de 600 langues. Ce modèle obtient des résultats de pointe dans plusieurs tests de référence clés pour la synthèse en chinois, en anglais et en multilingue, marquant ainsi une avancée significative dans ce domaine.

Des performances de pointe : un taux d'erreur sur les mots (WER) en chinois aussi bas que 0,84 %, surpassant les modèles courants lors des tests multilingues

Sur l'ensemble de tests chinois Seed-TTS, OmniVoice atteint un taux d'erreur sur les mots (WER) remarquablement bas, à seulement 0,84 %. Lors des évaluations multilingues, ses scores de similarité (SIM-o) et de WER surpassent ceux de modèles commerciaux bien connus tels que ElevenLabs v2 et MiniMax, démontrant un naturel et une clarté exceptionnels de la parole.

image.png

Inférence ultra-rapide : un RTF aussi bas que 0,025, 40 fois plus rapide que le temps réel

OmniVoice affiche un facteur temps réel (RTF) aussi bas que 0,025, ce qui signifie que sa vitesse de synthèse dépasse largement les exigences en temps réel. Ce gain d'efficacité considérable permet la génération rapide de discours longs dans des applications pratiques, améliorant ainsi considérablement l'expérience utilisateur.

Innovation architecturale fondamentale : conception discrète non autorégressive inspirée des modèles de diffusion

OmniVoice utilise une architecture non autorégressive discrète novatrice inspirée des modèles de langage par diffusion. Il génère de la parole à partir de texte en une seule étape, en contournant les tokens sémantiques intermédiaires traditionnels. Cette conception rationalisée simplifie le pipeline tout en conservant une qualité de sortie élevée. Une stratégie de masquage aléatoire du livre de codes complet, combinée à une initialisation par un LLM pré-entraîné, renforce encore l'efficacité de l'entraînement et améliore la clarté et l'intelligibilité de la parole finale.

Clonage et personnalisation flexibles de la voix : fonctionne avec seulement 3 à 10 secondes d'audio

Le modèle prend en charge le clonage vocal de haute qualité sans apprentissage préalable (zero-shot) en utilisant seulement 3 à 10 secondes d'audio de référence. Les utilisateurs peuvent également personnaliser les attributs de la voix via des invites en langage naturel, en spécifiant le sexe, l'âge, la hauteur de voix, l'accent, le dialecte et même des effets spéciaux comme le chuchotement.

Prise en charge des symboles non linguistiques et contrôle précis de la prononciation

OmniVoice peut traiter des symboles non linguistiques, tels que [rire], et prend en charge la correction de la prononciation via le pinyin ou des symboles phonétiques. Cela le rend particulièrement adapté à la synthèse précise en chinois et dans divers dialectes.

Prise en charge de plus de 600 langues : contribution à la préservation numérique des langues minoritaires et en voie de disparition

L'un des principaux atouts d'OmniVoice réside dans sa couverture linguistique étendue, prenant efficacement en charge à la fois les langues majeures et de nombreuses langues disposant de peu de ressources. Pour les langues minoritaires et en voie de disparition, il peut générer une parole de haute qualité avec un minimum d'échantillons de données, offrant ainsi un potentiel significatif pour la préservation numérique des langues et la protection culturelle.

Le code et les modèles pré-entraînés d'OmniVoice sont désormais disponibles en open source sur GitHub et Hugging Face, ce qui permet aux développeurs de le déployer localement ou de l'intégrer dans des applications. AIbase continuera à suivre les retours de la communauté et les cas d'utilisation concrets. Les développeurs sont encouragés à partager leurs expériences.

Lien vers le projet : https://github.com/k2-fsa/OmniVoice

Article connexe
Suno appose des filigranes aux chansons dans le cadre de batailles juridiques Suno appose des filigranes aux chansons dans le cadre de batailles juridiques Suno, la plateforme permettant aux utilisateurs de générer de la musique créée par l’intelligence artificielle, a dévoilé de nouvelles fonctionnalités pour étiqueter les titres produits sur la plateforme, restreindre les téléchargements et mettre à j
Musk admet que la construction de Grok a divulgué le code utilisateur, promet d’effacer toutes les données historiques Musk admet que la construction de Grok a divulgué le code utilisateur, promet d’effacer toutes les données historiques Elon Musk a abordé directement la controverse sur la vie privée concernant Grok Build, en commençant par un simple « Vrai » pour confirmer la validité de l’incident. Il s’est engagé à ce que toutes les données utilisateur précédemment téléchargées su
Les actions américaines atteignent un jalon historique alors que les géants de l'IA et de l'aérospatiale se préparent pour leur entrée boursière à la valeur du trillion de dollars. Les actions américaines atteignent un jalon historique alors que les géants de l'IA et de l'aérospatiale se préparent pour leur entrée boursière à la valeur du trillion de dollars. Elon Musk, Sam Altman et Dario Amodei, trois titans du secteur technologique, s’approchent des introductions en bourse de leurs entreprises respectives. Avec SpaceX, OpenAI et Anthropic – trois géants de l’industrie dont les valorisations approchent
Recommandations de sujets spéciaux liés
Référencement Les meilleurs outils d'analyse des SERP basés sur l'IA pour la stratégie de référencement
Les meilleurs outils d'analyse des SERP basés sur l'IA pour la stratégie de référencement

Les meilleurs outils d’analyse SERP basés sur l’IA de 2026, les mieux notés pour la stratégie de référencement, sont sélectionnés par XIX.AI à l’issue de tests rigoureux en conditions réelles et de classements mis à jour chaque semaine. Ces outils puissants vous aident à révéler des opportunités d’optimisation cachées, à améliorer les performances de votre contenu et à acquérir un avantage concurrentiel dans les résultats de recherche. Découvrez dès aujourd’hui l’outil idéal pour optimiser votre stratégie de référencement. Explorez-les dès maintenant !

13 outils
xix.ai
Analyse des données Meilleurs outils d’IA pour la détection d’anomalies dans le suivi des KPI pour les équipes SaaS et Ecommerce
Meilleurs outils d’IA pour la détection d’anomalies dans le suivi des KPI pour les équipes SaaS et Ecommerce

2026 Derniers Meilleurs Outils de Détection d’Anomalies par IA les mieux notés pour la surveillance des KPI dans les équipes SaaS et E-commerce ! XIX.AI a sélectionné une collection puissante et révolutionnaire, basée sur des tests rigoureux en conditions réelles et des classements mis à jour chaque semaine. Vous y trouverez des comparaisons détaillées entre les versions gratuites et payantes, afin de vous aider à identifier la solution incontournable qui améliore la productivité et débloque votre avantage concurrentiel grâce à l’IA. Explorez dès maintenant !

10 outils
xix.ai
en écrivant Les meilleurs générateurs de plans basés sur l'IA pour les articles SEO longs
Les meilleurs générateurs de plans basés sur l'IA pour les articles SEO longs

2026 : les meilleurs générateurs de plans basés sur l'IA pour les articles SEO longs, soigneusement sélectionnés par XIX.AI. Ces outils puissants offrent une aide révolutionnaire pour créer rapidement du contenu de haute qualité, améliorant ainsi considérablement l'efficacité de la rédaction. Découvrez une comparaison entre les versions gratuites et payantes, ainsi que des tests concrets et des classements détaillés pour vous aider à trouver l'option incontournable qui répond à vos besoins. Explorez dès maintenant pour tirer pleinement parti de l'IA.

8 outils
xix.ai
Éducation et apprentissage Outils d'étude basés sur l'IA pour les devoirs et la préparation aux examens
Outils d'étude basés sur l'IA pour les devoirs et la préparation aux examens

Les meilleurs outils d'IA de 2026 pour les devoirs et la préparation aux examens ! XIX.AI vous propose une sélection des outils les mieux notés, puissants et révolutionnaires, qui aident les élèves à booster leur productivité, à optimiser la réalisation de leurs devoirs et à réussir haut la main leurs examens grâce à des tests concrets. Découvrez un comparatif entre les versions gratuites et payantes, des classements détaillés et des options incontournables pour tirer pleinement parti de l'IA. Découvrez-les dès maintenant !

10 outils
xix.ai
Composition musicale Outils de démo vocale par IA pour les auteurs-compositeurs, les accroches, les mélodies principales et les sessions de brouillons multilingues
Outils de démo vocale par IA pour les auteurs-compositeurs, les accroches, les mélodies principales et les sessions de brouillons multilingues

2026 Derniers Meilleurs Outils de Démonstration Vocale par IA pour les Paroliers, Créateurs d’Accroches et Équipes de Contenu Multilingues ! XIX.AI a sélectionné une liste primée d’outils puissants et révolutionnaires, soumis à des tests rigoureux en conditions réelles. Vous y trouverez des données détaillées comparant les versions gratuites et payantes, des classements complets et des options incontournables à essayer pour améliorer votre efficacité d’écriture et libérer votre potentiel créatif. Explorez dès maintenant pour découvrir l’outil parfait répondant à tous vos besoins en contenu !

9 outils
xix.ai
Entreprise Les meilleurs outils de veille concurrentielle basés sur l'IA pour les petites entreprises
Les meilleurs outils de veille concurrentielle basés sur l'IA pour les petites entreprises

Les meilleurs outils de recherche concurrentielle basés sur l’IA les plus récents et les mieux notés pour les petites entreprises en 2026 ! XIX.AI a sélectionné une collection extrêmement puissante et révolutionnaire, mise à jour chaque semaine à l’issue de tests rigoureux en conditions réelles et accompagnée de classements détaillés. Vous y trouverez un comparatif complet entre les versions gratuites et payantes pour vous aider à identifier les outils incontournables qui boosteront votre productivité et vous donneront un avantage concurrentiel. Découvrez-la dès maintenant pour trouver l'outil qui vous convient le mieux !

9 outils
xix.ai
commentaires (0)
0/500
OR