Hogar
M6 Intelligence y Tsinghua lanzan BitCPM-CANN, un proyecto de código abierto para ejecutar modelos de gran tamaño en dispositivos móviles
MBLab, en colaboración con la Universidad de Tsinghua y la comunidad de código abierto OpenBMB, ha presentado recientemente y ha publicado en código abierto un importante avance en el entrenamiento de modelos grandes con bajo número de bits: BitCPM-CANN. Desarrollado de forma nativa en la plataforma Ascend de Huawei, este hito supone un avance en la optimización y el despliegue técnico de modelos grandes de IA en el borde de la red.

Una ventaja de memoria seis veces mayor rompe las barreras del hardware
BitCPM-CANN, ahora de código abierto, está disponible en cuatro tamaños: 0,5B, 1B, 3B y 8B. En comparaciones directas con modelos de precisión completa de tamaño equivalente, ofrece un rendimiento excepcional. En comparación con la precisión convencional BF16, logra un ahorro de memoria aproximadamente seis veces mayor durante la inferencia, lo que reduce drásticamente el hardware necesario para ejecutar modelos de gran tamaño.
En el caso de los dispositivos móviles, esta ventaja de seis veces en memoria significa que los modelos grandes de 8B de parámetros —que antes requerían hardware de gama alta— ahora pueden ejecutarse sin problemas en los principales smartphones de gama alta. Este notable margen de memoria acelera directamente la adopción y el despliegue comercial de la tecnología de IA en el borde en plataformas móviles.
La alta tasa de retención valida la reproducibilidad de la ingeniería
A pesar de la reducción del tamaño del modelo, BitCPM-CANN conserva un rendimiento excepcionalmente alto, con tasas de retención de la capacidad que oscilan entre el 90 % y el 97,2 %. En el caso de los tres modelos de mayor tamaño, las tasas de retención se sitúan entre el 95,7 % y el 97,2 %, mientras que incluso la variante más pequeña, de 0,5 mil millones, supera el 90 %.
Estos impresionantes resultados demuestran de forma sistemática que el enfoque de entrenamiento de bajo número de bits ofrece una gran escalabilidad y reproducibilidad de la ingeniería. MBLab ha establecido una base integral para el entrenamiento de bajo número de bits utilizando estas tecnologías fundamentales, que abarca toda la pila de ingeniería —incluida la adaptación al entorno, la compatibilidad con secuencias largas de 32K y los operadores fusionados—, proporcionando así una infraestructura pública robusta para futuros trabajos de entrenamiento de bajo número de bits en la plataforma Ascend.
Artículo relacionado
Las acciones de EE. UU. alcanzan un hito histórico mientras gigantes de la IA y la aeroespacial se preparan para su debut de un billón de dólares
Elon Musk, Sam Altman y Dario Amodei, tres titanes del sector tecnológico, están avanzando hacia ofertas públicas iniciales para sus respectivas empresas. Con SpaceX, OpenAI y Anthropic, tres gigantes de la industria que se acercan a valoraciones de
La startup sueca de inteligencia artificial Lovable Eyes alcanza una valoración de 13.200 millones de dólares tras una importante ronda de financiación
Mientras las herramientas de codificación impulsadas por inteligencia artificial ganan terreno, la startup sueca Lovable ha asegurado una importante ronda de financiación. La empresa tiene como objetivo recaudar 3 000 millones de dólares, lo que podr
Google prueba el agente Remy AI para Gemini a medida que el enfoque se desplaza hacia el control del usuario
Según Business Insider, Google está probando Remy, un nuevo agente personal de IA para Gemini. Esta herramienta tiene como objetivo ejecutar tareas en nombre de los usuarios, optimizando tanto los flujos de trabajo profesionales como las rutinas diar
Recomendaciones de temas especiales relacionados
comentario (0)
0/500
MBLab, en colaboración con la Universidad de Tsinghua y la comunidad de código abierto OpenBMB, ha presentado recientemente y ha publicado en código abierto un importante avance en el entrenamiento de modelos grandes con bajo número de bits: BitCPM-CANN. Desarrollado de forma nativa en la plataforma Ascend de Huawei, este hito supone un avance en la optimización y el despliegue técnico de modelos grandes de IA en el borde de la red.

Una ventaja de memoria seis veces mayor rompe las barreras del hardware
BitCPM-CANN, ahora de código abierto, está disponible en cuatro tamaños: 0,5B, 1B, 3B y 8B. En comparaciones directas con modelos de precisión completa de tamaño equivalente, ofrece un rendimiento excepcional. En comparación con la precisión convencional BF16, logra un ahorro de memoria aproximadamente seis veces mayor durante la inferencia, lo que reduce drásticamente el hardware necesario para ejecutar modelos de gran tamaño.
En el caso de los dispositivos móviles, esta ventaja de seis veces en memoria significa que los modelos grandes de 8B de parámetros —que antes requerían hardware de gama alta— ahora pueden ejecutarse sin problemas en los principales smartphones de gama alta. Este notable margen de memoria acelera directamente la adopción y el despliegue comercial de la tecnología de IA en el borde en plataformas móviles.
La alta tasa de retención valida la reproducibilidad de la ingeniería
A pesar de la reducción del tamaño del modelo, BitCPM-CANN conserva un rendimiento excepcionalmente alto, con tasas de retención de la capacidad que oscilan entre el 90 % y el 97,2 %. En el caso de los tres modelos de mayor tamaño, las tasas de retención se sitúan entre el 95,7 % y el 97,2 %, mientras que incluso la variante más pequeña, de 0,5 mil millones, supera el 90 %.
Estos impresionantes resultados demuestran de forma sistemática que el enfoque de entrenamiento de bajo número de bits ofrece una gran escalabilidad y reproducibilidad de la ingeniería. MBLab ha establecido una base integral para el entrenamiento de bajo número de bits utilizando estas tecnologías fundamentales, que abarca toda la pila de ingeniería —incluida la adaptación al entorno, la compatibilidad con secuencias largas de 32K y los operadores fusionados—, proporcionando así una infraestructura pública robusta para futuros trabajos de entrenamiento de bajo número de bits en la plataforma Ascend.
Las acciones de EE. UU. alcanzan un hito histórico mientras gigantes de la IA y la aeroespacial se preparan para su debut de un billón de dólares
Elon Musk, Sam Altman y Dario Amodei, tres titanes del sector tecnológico, están avanzando hacia ofertas públicas iniciales para sus respectivas empresas. Con SpaceX, OpenAI y Anthropic, tres gigantes de la industria que se acercan a valoraciones de
La startup sueca de inteligencia artificial Lovable Eyes alcanza una valoración de 13.200 millones de dólares tras una importante ronda de financiación
Mientras las herramientas de codificación impulsadas por inteligencia artificial ganan terreno, la startup sueca Lovable ha asegurado una importante ronda de financiación. La empresa tiene como objetivo recaudar 3 000 millones de dólares, lo que podr











