Hogar
Tsinghua y Tencent Hunyuan ganan el MoE Inference Challenge de MLSys2026 con una aceleración de 4,1 veces en la NPU
El Laboratorio de Almacenamiento de la Universidad de Tsinghua y el equipo de infraestructura de IA MegEngine de Tencent se han proclamado recientemente campeones mundiales en el «MoE Model Inference Optimization Challenge» celebrado en MLSys2026, una de las principales conferencias sobre sistemas de aprendizaje automático.
Para abordar los cuellos de botella en el rendimiento de la inferencia en la arquitectura «mezcla de expertos» (MoE), con parámetros a escala de billones que se ejecutan en chips NPU heterogéneos, el equipo conjunto diseñó una solución de optimización de cadena completa para el modelo oficial y el hardware NPU. Mediante el empleo de la estrategia E-Shard para la partición de tareas a nivel de experto, la lectura por lotes de tensores 3D PSUM, la ruta GEMV que distribuye las salidas entre múltiples bancos para lograr la concurrencia, y el uso de motores escalares para reducir la latencia inicial en la transferencia de datos, lograron resolver con éxito la baja eficiencia en la transferencia de datos y las transferencias repetidas de activación a nivel de operador.
Paralelamente, el equipo reorganizó la disposición de los datos en el chip para el módulo de atención e integró los operadores Transformer básicos, logrando una alineación de alta precisión a nivel de bits.
Figura 3: Diagrama de la arquitectura de optimización MoE, que incluye la partición experta E-Shard, DMA continuo, concurrencia PSUM/GEMV, canal de arranque en frío y control de precarga.
Además, el equipo desarrolló un optimizador de operadores de inferencia basado en agentes denominado «Knight». Mediante un proceso automatizado de bucle cerrado que incluye propuesta, implementación de código e iteración, amplió drásticamente el espacio de búsqueda de optimización. Como resultado, el tiempo de inferencia de extremo a extremo se redujo de 14,91 segundos a 3,56 segundos, lo que supone una aceleración de 4,1 veces; la latencia de decodificación en un solo paso se redujo de 12,63 ms a 5,45 ms, y la utilización del motor DMA durante la carga de pesos ascendió a alrededor del 80 %.
Al superar a equipos de universidades líderes a nivel mundial, como Stanford y el MIT, este logro pone de relieve la profunda experiencia de los equipos chinos a la hora de adaptar modelos de gran tamaño a los sistemas subyacentes y optimizar los operadores. Además, proporciona un valioso modelo de ingeniería para el despliegue de modelos MoE con billones de parámetros en futuras plataformas informáticas de supernodos.
Artículo relacionado
Suno añade marcas de agua a las canciones en medio de batallas legales
Suno, la plataforma que permite a los usuarios generar música creada por inteligencia artificial, ha presentado nuevas funciones para etiquetar las pistas producidas en la plataforma, restringir las descargas y actualizar las normas de la comunidad c
Musk admite que Grok filtró código de usuarios, promete borrar todos los datos históricos
Elon Musk abordó directamente la controversia por privacidad relacionada con Grok Build, comenzando con un simple "Verdadero" para confirmar la validez del incidente. Se comprometió a que todos los datos de usuario cargados previamente en SpaceXAI se
Las acciones de EE. UU. alcanzan un hito histórico mientras gigantes de la IA y la aeroespacial se preparan para su debut de un billón de dólares
Elon Musk, Sam Altman y Dario Amodei, tres titanes del sector tecnológico, están avanzando hacia ofertas públicas iniciales para sus respectivas empresas. Con SpaceX, OpenAI y Anthropic, tres gigantes de la industria que se acercan a valoraciones de
Recomendaciones de temas especiales relacionados
SEO
Las mejores herramientas de análisis de SERP basadas en IA para la estrategia de búsqueda
Las mejores herramientas de análisis de SERP con IA mejor valoradas de 2026 para la estrategia de búsqueda han sido seleccionadas por XIX.AI tras rigurosas pruebas en condiciones reales y clasificaciones que se actualizan semanalmente. Estas potentes herramientas te ayudan a descubrir oportunidades de optimización ocultas, a mejorar el rendimiento de tu contenido y a obtener una ventaja competitiva en los motores de búsqueda. Descubre hoy mismo la herramienta perfecta para mejorar tu estrategia de búsqueda. ¡Explora ahora!
13 herramientas
xix.ai
Análisis de datos
Mejores herramientas de IA para la detección de anomalías en el monitoreo de KPIs para equipos de SaaS y comercio electrónico
¡Las mejores herramientas de detección de anomalías con IA de 2026, más valoradas y destacadas para el monitoreo de KPI en equipos de SaaS y comercio electrónico! XIX.AI ha recopilado una poderosa colección transformadora basada en rigurosas pruebas del mundo real y clasificaciones actualizadas semanalmente. Encontrarás comparaciones detalladas entre versiones gratuitas y de pago que te ayudarán a identificar la solución imprescindible para aumentar la productividad y desbloquear tu ventaja con IA. ¡Explora ahora!
10 herramientas
xix.ai
escribiendo
Los mejores generadores de esquemas basados en IA para artículos largos optimizados para SEO
Los mejores generadores de esquemas con IA mejor valorados de 2026 para artículos largos optimizados para SEO, seleccionados minuciosamente por XIX.AI. Estas potentes herramientas ofrecen una ayuda revolucionaria a la hora de crear contenido de alta calidad rápidamente, lo que aumenta considerablemente la eficiencia a la hora de escribir. Consigue una comparación entre las versiones gratuitas y de pago, junto con pruebas en condiciones reales y clasificaciones detalladas, que te ayudarán a encontrar la opción imprescindible que mejor se adapte a tus necesidades. Explora ahora para descubrir las ventajas que te ofrece la IA.
8 herramientas
xix.ai
Educación y aprendizaje
Herramientas de estudio basadas en IA para los deberes y la preparación de exámenes
¡Las mejores herramientas de IA de 2026 para hacer los deberes y prepararse para los exámenes! XIX.AI ha elaborado una lista con las herramientas mejor valoradas, potentes y revolucionarias que ayudan a los estudiantes a aumentar su productividad, agilizar la realización de los deberes y sacar sobresaliente en los exámenes gracias a pruebas reales. Consigue una comparación entre versiones gratuitas y de pago, clasificaciones detalladas y opciones imprescindibles para sacar el máximo partido a la IA. ¡Explora ahora!
10 herramientas
xix.ai
composicion musical
Herramientas de demostración vocal con IA para compositores, ganchos, melodías principales y sesiones de borrador multilingüe
¡Las mejores herramientas de demostración vocal con IA de 2026 para compositores, creadores de ganchos y equipos de contenido multilingüe! XIX.AI ha recopilado una lista de herramientas poderosas y transformadoras, rigurosamente probadas en el mundo real. Encontrarás datos detallados de comparación entre versiones gratuitas y de pago, clasificaciones completas y opciones imprescindibles para ayudarte a aumentar tu eficiencia de escritura y desbloquear todo tu potencial creativo. ¡Explora ahora para descubrir la herramienta perfecta para todas tus necesidades de contenido!
9 herramientas
xix.ai
Negocio
Las mejores herramientas de investigación competitiva basadas en IA para pequeñas empresas
¡Las mejores herramientas de investigación competitiva basadas en IA mejor valoradas de 2026 para pequeñas empresas! XIX.AI ha seleccionado una colección revolucionaria y muy potente, que se actualiza semanalmente con rigurosas pruebas en el mundo real y clasificaciones detalladas. Encontrarás una comparación exhaustiva entre las opciones gratuitas y las de pago que te ayudará a identificar las herramientas imprescindibles que impulsarán tu productividad y te proporcionarán una ventaja competitiva. ¡Explora ahora mismo y descubre la herramienta perfecta para ti!
9 herramientas
xix.ai
comentario (1)
0/500
![BrianMartinez]()
That's a massive leap! 4.1x NPU speedup for MoE inference? I'm curious about the techniques they used. Is it better quantization or sparse attention? Either way, congrats to the team! 🎉
El Laboratorio de Almacenamiento de la Universidad de Tsinghua y el equipo de infraestructura de IA MegEngine de Tencent se han proclamado recientemente campeones mundiales en el «MoE Model Inference Optimization Challenge» celebrado en MLSys2026, una de las principales conferencias sobre sistemas de aprendizaje automático.
Para abordar los cuellos de botella en el rendimiento de la inferencia en la arquitectura «mezcla de expertos» (MoE), con parámetros a escala de billones que se ejecutan en chips NPU heterogéneos, el equipo conjunto diseñó una solución de optimización de cadena completa para el modelo oficial y el hardware NPU. Mediante el empleo de la estrategia E-Shard para la partición de tareas a nivel de experto, la lectura por lotes de tensores 3D PSUM, la ruta GEMV que distribuye las salidas entre múltiples bancos para lograr la concurrencia, y el uso de motores escalares para reducir la latencia inicial en la transferencia de datos, lograron resolver con éxito la baja eficiencia en la transferencia de datos y las transferencias repetidas de activación a nivel de operador.
Paralelamente, el equipo reorganizó la disposición de los datos en el chip para el módulo de atención e integró los operadores Transformer básicos, logrando una alineación de alta precisión a nivel de bits.
Figura 3: Diagrama de la arquitectura de optimización MoE, que incluye la partición experta E-Shard, DMA continuo, concurrencia PSUM/GEMV, canal de arranque en frío y control de precarga.
Además, el equipo desarrolló un optimizador de operadores de inferencia basado en agentes denominado «Knight». Mediante un proceso automatizado de bucle cerrado que incluye propuesta, implementación de código e iteración, amplió drásticamente el espacio de búsqueda de optimización. Como resultado, el tiempo de inferencia de extremo a extremo se redujo de 14,91 segundos a 3,56 segundos, lo que supone una aceleración de 4,1 veces; la latencia de decodificación en un solo paso se redujo de 12,63 ms a 5,45 ms, y la utilización del motor DMA durante la carga de pesos ascendió a alrededor del 80 %.
Al superar a equipos de universidades líderes a nivel mundial, como Stanford y el MIT, este logro pone de relieve la profunda experiencia de los equipos chinos a la hora de adaptar modelos de gran tamaño a los sistemas subyacentes y optimizar los operadores. Además, proporciona un valioso modelo de ingeniería para el despliegue de modelos MoE con billones de parámetros en futuras plataformas informáticas de supernodos.
Suno añade marcas de agua a las canciones en medio de batallas legales
Suno, la plataforma que permite a los usuarios generar música creada por inteligencia artificial, ha presentado nuevas funciones para etiquetar las pistas producidas en la plataforma, restringir las descargas y actualizar las normas de la comunidad c
Musk admite que Grok filtró código de usuarios, promete borrar todos los datos históricos
Elon Musk abordó directamente la controversia por privacidad relacionada con Grok Build, comenzando con un simple "Verdadero" para confirmar la validez del incidente. Se comprometió a que todos los datos de usuario cargados previamente en SpaceXAI se
Las acciones de EE. UU. alcanzan un hito histórico mientras gigantes de la IA y la aeroespacial se preparan para su debut de un billón de dólares
Elon Musk, Sam Altman y Dario Amodei, tres titanes del sector tecnológico, están avanzando hacia ofertas públicas iniciales para sus respectivas empresas. Con SpaceX, OpenAI y Anthropic, tres gigantes de la industria que se acercan a valoraciones de
Las mejores herramientas de análisis de SERP con IA mejor valoradas de 2026 para la estrategia de búsqueda han sido seleccionadas por XIX.AI tras rigurosas pruebas en condiciones reales y clasificaciones que se actualizan semanalmente. Estas potentes herramientas te ayudan a descubrir oportunidades de optimización ocultas, a mejorar el rendimiento de tu contenido y a obtener una ventaja competitiva en los motores de búsqueda. Descubre hoy mismo la herramienta perfecta para mejorar tu estrategia de búsqueda. ¡Explora ahora!
13 herramientas
xix.ai
¡Las mejores herramientas de detección de anomalías con IA de 2026, más valoradas y destacadas para el monitoreo de KPI en equipos de SaaS y comercio electrónico! XIX.AI ha recopilado una poderosa colección transformadora basada en rigurosas pruebas del mundo real y clasificaciones actualizadas semanalmente. Encontrarás comparaciones detalladas entre versiones gratuitas y de pago que te ayudarán a identificar la solución imprescindible para aumentar la productividad y desbloquear tu ventaja con IA. ¡Explora ahora!
10 herramientas
xix.ai
Los mejores generadores de esquemas con IA mejor valorados de 2026 para artículos largos optimizados para SEO, seleccionados minuciosamente por XIX.AI. Estas potentes herramientas ofrecen una ayuda revolucionaria a la hora de crear contenido de alta calidad rápidamente, lo que aumenta considerablemente la eficiencia a la hora de escribir. Consigue una comparación entre las versiones gratuitas y de pago, junto con pruebas en condiciones reales y clasificaciones detalladas, que te ayudarán a encontrar la opción imprescindible que mejor se adapte a tus necesidades. Explora ahora para descubrir las ventajas que te ofrece la IA.
8 herramientas
xix.ai
¡Las mejores herramientas de IA de 2026 para hacer los deberes y prepararse para los exámenes! XIX.AI ha elaborado una lista con las herramientas mejor valoradas, potentes y revolucionarias que ayudan a los estudiantes a aumentar su productividad, agilizar la realización de los deberes y sacar sobresaliente en los exámenes gracias a pruebas reales. Consigue una comparación entre versiones gratuitas y de pago, clasificaciones detalladas y opciones imprescindibles para sacar el máximo partido a la IA. ¡Explora ahora!
10 herramientas
xix.ai
¡Las mejores herramientas de demostración vocal con IA de 2026 para compositores, creadores de ganchos y equipos de contenido multilingüe! XIX.AI ha recopilado una lista de herramientas poderosas y transformadoras, rigurosamente probadas en el mundo real. Encontrarás datos detallados de comparación entre versiones gratuitas y de pago, clasificaciones completas y opciones imprescindibles para ayudarte a aumentar tu eficiencia de escritura y desbloquear todo tu potencial creativo. ¡Explora ahora para descubrir la herramienta perfecta para todas tus necesidades de contenido!
9 herramientas
xix.ai
¡Las mejores herramientas de investigación competitiva basadas en IA mejor valoradas de 2026 para pequeñas empresas! XIX.AI ha seleccionado una colección revolucionaria y muy potente, que se actualiza semanalmente con rigurosas pruebas en el mundo real y clasificaciones detalladas. Encontrarás una comparación exhaustiva entre las opciones gratuitas y las de pago que te ayudará a identificar las herramientas imprescindibles que impulsarán tu productividad y te proporcionarán una ventaja competitiva. ¡Explora ahora mismo y descubre la herramienta perfecta para ti!
9 herramientas
xix.ai
That's a massive leap! 4.1x NPU speedup for MoE inference? I'm curious about the techniques they used. Is it better quantization or sparse attention? Either way, congrats to the team! 🎉
