Maison
Tsinghua et Tencent Hunyuan remportent le concours « MoE Inference Challenge » de MLSys2026 avec un gain de vitesse de 4,1 fois sur les NPU
Le laboratoire de stockage de l’université de Tsinghua et l’équipe MegEngine AI Infra de Tencent ont récemment remporté le championnat mondial du « MoE Model Inference Optimization Challenge » lors de MLSys2026, une conférence de premier plan consacrée aux systèmes d’apprentissage automatique.
Afin de remédier aux goulots d’étranglement affectant les performances d’inférence dans l’architecture « mixture-of-experts » (MoE), qui comporte des paramètres à l’échelle des billions et s’exécute sur des puces NPU hétérogènes, l’équipe conjointe a conçu une solution d’optimisation de bout en bout pour le modèle officiel et le matériel NPU. En recourant à la stratégie E-Shard pour le partitionnement des tâches au niveau des experts, à la lecture par lots de tenseurs 3D PSUM, au chemin GEMV distribuant les sorties sur plusieurs banques pour assurer la concurrence, et en utilisant des moteurs scalaires pour réduire la latence initiale du transfert de données, elle a réussi à résoudre les problèmes de faible efficacité du transfert de données et de transferts d’activation répétés au niveau des opérateurs.
Parallèlement, l’équipe a réorganisé la disposition des données sur la puce pour le module d’attention et les opérateurs Transformer de base, parvenant ainsi à un alignement de haute précision au niveau des bits.
Figure 3 : Schéma de l’architecture d’optimisation MoE, comprenant le partitionnement expert E-Shard, le DMA continu, la concurrence PSUM/GEMV, le pipeline de démarrage à froid et le contrôle de prélecture.
De plus, l’équipe a développé un optimiseur d’opérateurs d’inférence basé sur des agents, baptisé « Knight ». Grâce à un processus automatisé en boucle fermée comprenant la formulation de propositions, l’implémentation du code et l’itération, cet outil a considérablement élargi l’espace de recherche d’optimisation. En conséquence, le temps d’inférence de bout en bout est passé de 14,91 secondes à 3,56 secondes, soit un gain de vitesse de 4,1 fois ; la latence de décodage en une seule étape est passée de 12,63 ms à 5,45 ms, et l’utilisation du moteur DMA lors du chargement des poids a grimpé à environ 80 %.
Surpassant des équipes issues d’universités mondiales de premier plan telles que Stanford et le MIT, cette réussite met en évidence la grande expertise des équipes chinoises dans l’adaptation de modèles de grande taille aux systèmes sous-jacents et dans l’optimisation des opérateurs. Elle fournit également un précieux modèle d’ingénierie pour le déploiement de modèles MoE comportant des milliers de milliards de paramètres sur les futures plateformes de calcul à super-nœuds.
Article connexe
Suno appose des filigranes aux chansons dans le cadre de batailles juridiques
Suno, la plateforme permettant aux utilisateurs de générer de la musique créée par l’intelligence artificielle, a dévoilé de nouvelles fonctionnalités pour étiqueter les titres produits sur la plateforme, restreindre les téléchargements et mettre à j
Musk admet que la construction de Grok a divulgué le code utilisateur, promet d’effacer toutes les données historiques
Elon Musk a abordé directement la controverse sur la vie privée concernant Grok Build, en commençant par un simple « Vrai » pour confirmer la validité de l’incident. Il s’est engagé à ce que toutes les données utilisateur précédemment téléchargées su
Les actions américaines atteignent un jalon historique alors que les géants de l'IA et de l'aérospatiale se préparent pour leur entrée boursière à la valeur du trillion de dollars.
Elon Musk, Sam Altman et Dario Amodei, trois titans du secteur technologique, s’approchent des introductions en bourse de leurs entreprises respectives. Avec SpaceX, OpenAI et Anthropic – trois géants de l’industrie dont les valorisations approchent
Recommandations de sujets spéciaux liés
Référencement
Les meilleurs outils d'analyse des SERP basés sur l'IA pour la stratégie de référencement
Les meilleurs outils d’analyse SERP basés sur l’IA de 2026, les mieux notés pour la stratégie de référencement, sont sélectionnés par XIX.AI à l’issue de tests rigoureux en conditions réelles et de classements mis à jour chaque semaine. Ces outils puissants vous aident à révéler des opportunités d’optimisation cachées, à améliorer les performances de votre contenu et à acquérir un avantage concurrentiel dans les résultats de recherche. Découvrez dès aujourd’hui l’outil idéal pour optimiser votre stratégie de référencement. Explorez-les dès maintenant !
13 outils
xix.ai
Analyse des données
Meilleurs outils d’IA pour la détection d’anomalies dans le suivi des KPI pour les équipes SaaS et Ecommerce
2026 Derniers Meilleurs Outils de Détection d’Anomalies par IA les mieux notés pour la surveillance des KPI dans les équipes SaaS et E-commerce ! XIX.AI a sélectionné une collection puissante et révolutionnaire, basée sur des tests rigoureux en conditions réelles et des classements mis à jour chaque semaine. Vous y trouverez des comparaisons détaillées entre les versions gratuites et payantes, afin de vous aider à identifier la solution incontournable qui améliore la productivité et débloque votre avantage concurrentiel grâce à l’IA. Explorez dès maintenant !
10 outils
xix.ai
en écrivant
Les meilleurs générateurs de plans basés sur l'IA pour les articles SEO longs
2026 : les meilleurs générateurs de plans basés sur l'IA pour les articles SEO longs, soigneusement sélectionnés par XIX.AI. Ces outils puissants offrent une aide révolutionnaire pour créer rapidement du contenu de haute qualité, améliorant ainsi considérablement l'efficacité de la rédaction. Découvrez une comparaison entre les versions gratuites et payantes, ainsi que des tests concrets et des classements détaillés pour vous aider à trouver l'option incontournable qui répond à vos besoins. Explorez dès maintenant pour tirer pleinement parti de l'IA.
8 outils
xix.ai
Éducation et apprentissage
Outils d'étude basés sur l'IA pour les devoirs et la préparation aux examens
Les meilleurs outils d'IA de 2026 pour les devoirs et la préparation aux examens ! XIX.AI vous propose une sélection des outils les mieux notés, puissants et révolutionnaires, qui aident les élèves à booster leur productivité, à optimiser la réalisation de leurs devoirs et à réussir haut la main leurs examens grâce à des tests concrets. Découvrez un comparatif entre les versions gratuites et payantes, des classements détaillés et des options incontournables pour tirer pleinement parti de l'IA. Découvrez-les dès maintenant !
10 outils
xix.ai
Composition musicale
Outils de démo vocale par IA pour les auteurs-compositeurs, les accroches, les mélodies principales et les sessions de brouillons multilingues
2026 Derniers Meilleurs Outils de Démonstration Vocale par IA pour les Paroliers, Créateurs d’Accroches et Équipes de Contenu Multilingues ! XIX.AI a sélectionné une liste primée d’outils puissants et révolutionnaires, soumis à des tests rigoureux en conditions réelles. Vous y trouverez des données détaillées comparant les versions gratuites et payantes, des classements complets et des options incontournables à essayer pour améliorer votre efficacité d’écriture et libérer votre potentiel créatif. Explorez dès maintenant pour découvrir l’outil parfait répondant à tous vos besoins en contenu !
9 outils
xix.ai
Entreprise
Les meilleurs outils de veille concurrentielle basés sur l'IA pour les petites entreprises
Les meilleurs outils de recherche concurrentielle basés sur l’IA les plus récents et les mieux notés pour les petites entreprises en 2026 ! XIX.AI a sélectionné une collection extrêmement puissante et révolutionnaire, mise à jour chaque semaine à l’issue de tests rigoureux en conditions réelles et accompagnée de classements détaillés. Vous y trouverez un comparatif complet entre les versions gratuites et payantes pour vous aider à identifier les outils incontournables qui boosteront votre productivité et vous donneront un avantage concurrentiel. Découvrez-la dès maintenant pour trouver l'outil qui vous convient le mieux !
9 outils
xix.ai
commentaires (1)
![BrianMartinez]()
That's a massive leap! 4.1x NPU speedup for MoE inference? I'm curious about the techniques they used. Is it better quantization or sparse attention? Either way, congrats to the team! 🎉
Le laboratoire de stockage de l’université de Tsinghua et l’équipe MegEngine AI Infra de Tencent ont récemment remporté le championnat mondial du « MoE Model Inference Optimization Challenge » lors de MLSys2026, une conférence de premier plan consacrée aux systèmes d’apprentissage automatique.
Afin de remédier aux goulots d’étranglement affectant les performances d’inférence dans l’architecture « mixture-of-experts » (MoE), qui comporte des paramètres à l’échelle des billions et s’exécute sur des puces NPU hétérogènes, l’équipe conjointe a conçu une solution d’optimisation de bout en bout pour le modèle officiel et le matériel NPU. En recourant à la stratégie E-Shard pour le partitionnement des tâches au niveau des experts, à la lecture par lots de tenseurs 3D PSUM, au chemin GEMV distribuant les sorties sur plusieurs banques pour assurer la concurrence, et en utilisant des moteurs scalaires pour réduire la latence initiale du transfert de données, elle a réussi à résoudre les problèmes de faible efficacité du transfert de données et de transferts d’activation répétés au niveau des opérateurs.
Parallèlement, l’équipe a réorganisé la disposition des données sur la puce pour le module d’attention et les opérateurs Transformer de base, parvenant ainsi à un alignement de haute précision au niveau des bits.
Figure 3 : Schéma de l’architecture d’optimisation MoE, comprenant le partitionnement expert E-Shard, le DMA continu, la concurrence PSUM/GEMV, le pipeline de démarrage à froid et le contrôle de prélecture.
De plus, l’équipe a développé un optimiseur d’opérateurs d’inférence basé sur des agents, baptisé « Knight ». Grâce à un processus automatisé en boucle fermée comprenant la formulation de propositions, l’implémentation du code et l’itération, cet outil a considérablement élargi l’espace de recherche d’optimisation. En conséquence, le temps d’inférence de bout en bout est passé de 14,91 secondes à 3,56 secondes, soit un gain de vitesse de 4,1 fois ; la latence de décodage en une seule étape est passée de 12,63 ms à 5,45 ms, et l’utilisation du moteur DMA lors du chargement des poids a grimpé à environ 80 %.
Surpassant des équipes issues d’universités mondiales de premier plan telles que Stanford et le MIT, cette réussite met en évidence la grande expertise des équipes chinoises dans l’adaptation de modèles de grande taille aux systèmes sous-jacents et dans l’optimisation des opérateurs. Elle fournit également un précieux modèle d’ingénierie pour le déploiement de modèles MoE comportant des milliers de milliards de paramètres sur les futures plateformes de calcul à super-nœuds.
Suno appose des filigranes aux chansons dans le cadre de batailles juridiques
Suno, la plateforme permettant aux utilisateurs de générer de la musique créée par l’intelligence artificielle, a dévoilé de nouvelles fonctionnalités pour étiqueter les titres produits sur la plateforme, restreindre les téléchargements et mettre à j
Musk admet que la construction de Grok a divulgué le code utilisateur, promet d’effacer toutes les données historiques
Elon Musk a abordé directement la controverse sur la vie privée concernant Grok Build, en commençant par un simple « Vrai » pour confirmer la validité de l’incident. Il s’est engagé à ce que toutes les données utilisateur précédemment téléchargées su
Les actions américaines atteignent un jalon historique alors que les géants de l'IA et de l'aérospatiale se préparent pour leur entrée boursière à la valeur du trillion de dollars.
Elon Musk, Sam Altman et Dario Amodei, trois titans du secteur technologique, s’approchent des introductions en bourse de leurs entreprises respectives. Avec SpaceX, OpenAI et Anthropic – trois géants de l’industrie dont les valorisations approchent
Les meilleurs outils d’analyse SERP basés sur l’IA de 2026, les mieux notés pour la stratégie de référencement, sont sélectionnés par XIX.AI à l’issue de tests rigoureux en conditions réelles et de classements mis à jour chaque semaine. Ces outils puissants vous aident à révéler des opportunités d’optimisation cachées, à améliorer les performances de votre contenu et à acquérir un avantage concurrentiel dans les résultats de recherche. Découvrez dès aujourd’hui l’outil idéal pour optimiser votre stratégie de référencement. Explorez-les dès maintenant !
13 outils
xix.ai
2026 Derniers Meilleurs Outils de Détection d’Anomalies par IA les mieux notés pour la surveillance des KPI dans les équipes SaaS et E-commerce ! XIX.AI a sélectionné une collection puissante et révolutionnaire, basée sur des tests rigoureux en conditions réelles et des classements mis à jour chaque semaine. Vous y trouverez des comparaisons détaillées entre les versions gratuites et payantes, afin de vous aider à identifier la solution incontournable qui améliore la productivité et débloque votre avantage concurrentiel grâce à l’IA. Explorez dès maintenant !
10 outils
xix.ai
2026 : les meilleurs générateurs de plans basés sur l'IA pour les articles SEO longs, soigneusement sélectionnés par XIX.AI. Ces outils puissants offrent une aide révolutionnaire pour créer rapidement du contenu de haute qualité, améliorant ainsi considérablement l'efficacité de la rédaction. Découvrez une comparaison entre les versions gratuites et payantes, ainsi que des tests concrets et des classements détaillés pour vous aider à trouver l'option incontournable qui répond à vos besoins. Explorez dès maintenant pour tirer pleinement parti de l'IA.
8 outils
xix.ai
Les meilleurs outils d'IA de 2026 pour les devoirs et la préparation aux examens ! XIX.AI vous propose une sélection des outils les mieux notés, puissants et révolutionnaires, qui aident les élèves à booster leur productivité, à optimiser la réalisation de leurs devoirs et à réussir haut la main leurs examens grâce à des tests concrets. Découvrez un comparatif entre les versions gratuites et payantes, des classements détaillés et des options incontournables pour tirer pleinement parti de l'IA. Découvrez-les dès maintenant !
10 outils
xix.ai
2026 Derniers Meilleurs Outils de Démonstration Vocale par IA pour les Paroliers, Créateurs d’Accroches et Équipes de Contenu Multilingues ! XIX.AI a sélectionné une liste primée d’outils puissants et révolutionnaires, soumis à des tests rigoureux en conditions réelles. Vous y trouverez des données détaillées comparant les versions gratuites et payantes, des classements complets et des options incontournables à essayer pour améliorer votre efficacité d’écriture et libérer votre potentiel créatif. Explorez dès maintenant pour découvrir l’outil parfait répondant à tous vos besoins en contenu !
9 outils
xix.ai
Les meilleurs outils de recherche concurrentielle basés sur l’IA les plus récents et les mieux notés pour les petites entreprises en 2026 ! XIX.AI a sélectionné une collection extrêmement puissante et révolutionnaire, mise à jour chaque semaine à l’issue de tests rigoureux en conditions réelles et accompagnée de classements détaillés. Vous y trouverez un comparatif complet entre les versions gratuites et payantes pour vous aider à identifier les outils incontournables qui boosteront votre productivité et vous donneront un avantage concurrentiel. Découvrez-la dès maintenant pour trouver l'outil qui vous convient le mieux !
9 outils
xix.ai
That's a massive leap! 4.1x NPU speedup for MoE inference? I'm curious about the techniques they used. Is it better quantization or sparse attention? Either way, congrats to the team! 🎉
