Maison
M6 Intelligence et Tsinghua publient en open source BitCPM-CANN pour l'exécution de modèles de grande taille sur des appareils mobiles
MBLab, en collaboration avec l'université de Tsinghua et la communauté open source OpenBMB, a récemment publié et mis à disposition en open source une avancée majeure dans le domaine de l'entraînement de grands modèles à faible nombre de bits : BitCPM-CANN. Développée en natif sur la plateforme Ascend de Huawei, cette avancée majeure fait progresser l’allègement et le déploiement technique des grands modèles d’IA en périphérie.

Un gain de mémoire multiplié par six qui repousse les limites matérielles
BitCPM-CANN, désormais open source, est disponible en quatre tailles : 0,5B, 1B, 3B et 8B. En comparaison directe avec des modèles à pleine précision de taille équivalente, il offre des performances exceptionnelles. Par rapport à la précision BF16 conventionnelle, il permet de réaliser environ six fois plus d’économies de mémoire lors de l’inférence, réduisant ainsi considérablement le matériel nécessaire à l’exécution de grands modèles.
Pour les appareils mobiles, cet avantage de mémoire multiplié par six signifie que les grands modèles de 8 milliards de paramètres — qui nécessitaient auparavant du matériel haut de gamme — peuvent désormais fonctionner sans problème sur les smartphones phares grand public. Cette marge de mémoire remarquable accélère directement l’adoption et le déploiement commercial de la technologie d’IA en périphérie sur les plateformes mobiles.
Un taux de rétention élevé confirme la reproductibilité de l’ingénierie
Malgré la réduction de la taille des modèles, BitCPM-CANN conserve des performances exceptionnellement élevées, avec des taux de rétention des capacités compris entre 90 % et 97,2 %. Pour les trois modèles les plus volumineux, les taux de rétention se situent entre 95,7 % et 97,2 %, tandis que même la plus petite variante (0,5 milliard de paramètres) dépasse les 90 %.
Ces résultats impressionnants démontrent de manière systématique que l’approche d’entraînement à faible nombre de bits offre une forte évolutivité et une reproductibilité technique. MBLab a établi une base complète pour l’entraînement à faible nombre de bits à l’aide de ces technologies clés, couvrant l’ensemble de la pile d’ingénierie — y compris l’adaptation à l’environnement, la prise en charge de longues séquences de 32K et les opérateurs fusionnés —, fournissant ainsi une infrastructure publique robuste pour les futurs travaux d’entraînement à faible nombre de bits sur la plateforme Ascend.
Article connexe
La startup suédoise en intelligence artificielle Lovable Eyes atteint une valorisation de 13,2 milliards de dollars après un tour de table majeur
Alors que les outils de codage alimentés par l’intelligence artificielle gagnent en popularité, la startup suédoise Lovable a levé des fonds lors d’un tour de table majeur. L’entreprise vise à collecter 3 milliards de dollars, ce qui pourrait porter
Google teste l'agent IA Remy pour Gemini à mesure que l'accent se déplace vers le contrôle utilisateur
Selon Business Insider, Google teste Remy, un nouvel agent personnel d’IA pour Gemini. Cet outil vise à exécuter des tâches au nom des utilisateurs, rationalisant ainsi les flux de travail professionnels et les routines quotidiennes.Actuellement, Re
Comment corriger les Core Web Vitals pour de meilleurs classements SEO
Fluidifiez les commentaires de bulletin avec des outils d'IAIntroductionOutils d'IA pour générer des commentaires de bulletinMagic SchoolAlmanac AIChat GPTUtilisation de Magic School pour générer des commentaires de bulletinConnexion à Magic Sc
Recommandations de sujets spéciaux liés
commentaires (0)
MBLab, en collaboration avec l'université de Tsinghua et la communauté open source OpenBMB, a récemment publié et mis à disposition en open source une avancée majeure dans le domaine de l'entraînement de grands modèles à faible nombre de bits : BitCPM-CANN. Développée en natif sur la plateforme Ascend de Huawei, cette avancée majeure fait progresser l’allègement et le déploiement technique des grands modèles d’IA en périphérie.

Un gain de mémoire multiplié par six qui repousse les limites matérielles
BitCPM-CANN, désormais open source, est disponible en quatre tailles : 0,5B, 1B, 3B et 8B. En comparaison directe avec des modèles à pleine précision de taille équivalente, il offre des performances exceptionnelles. Par rapport à la précision BF16 conventionnelle, il permet de réaliser environ six fois plus d’économies de mémoire lors de l’inférence, réduisant ainsi considérablement le matériel nécessaire à l’exécution de grands modèles.
Pour les appareils mobiles, cet avantage de mémoire multiplié par six signifie que les grands modèles de 8 milliards de paramètres — qui nécessitaient auparavant du matériel haut de gamme — peuvent désormais fonctionner sans problème sur les smartphones phares grand public. Cette marge de mémoire remarquable accélère directement l’adoption et le déploiement commercial de la technologie d’IA en périphérie sur les plateformes mobiles.
Un taux de rétention élevé confirme la reproductibilité de l’ingénierie
Malgré la réduction de la taille des modèles, BitCPM-CANN conserve des performances exceptionnellement élevées, avec des taux de rétention des capacités compris entre 90 % et 97,2 %. Pour les trois modèles les plus volumineux, les taux de rétention se situent entre 95,7 % et 97,2 %, tandis que même la plus petite variante (0,5 milliard de paramètres) dépasse les 90 %.
Ces résultats impressionnants démontrent de manière systématique que l’approche d’entraînement à faible nombre de bits offre une forte évolutivité et une reproductibilité technique. MBLab a établi une base complète pour l’entraînement à faible nombre de bits à l’aide de ces technologies clés, couvrant l’ensemble de la pile d’ingénierie — y compris l’adaptation à l’environnement, la prise en charge de longues séquences de 32K et les opérateurs fusionnés —, fournissant ainsi une infrastructure publique robuste pour les futurs travaux d’entraînement à faible nombre de bits sur la plateforme Ascend.
La startup suédoise en intelligence artificielle Lovable Eyes atteint une valorisation de 13,2 milliards de dollars après un tour de table majeur
Alors que les outils de codage alimentés par l’intelligence artificielle gagnent en popularité, la startup suédoise Lovable a levé des fonds lors d’un tour de table majeur. L’entreprise vise à collecter 3 milliards de dollars, ce qui pourrait porter
Comment corriger les Core Web Vitals pour de meilleurs classements SEO
Fluidifiez les commentaires de bulletin avec des outils d'IAIntroductionOutils d'IA pour générer des commentaires de bulletinMagic SchoolAlmanac AIChat GPTUtilisation de Magic School pour générer des commentaires de bulletinConnexion à Magic Sc











