Lar
A M6 Intelligence e a Tsinghua lançam o BitCPM-CANN de código aberto para executar modelos de grande porte em dispositivos móveis
O MBLab, em colaboração com a Universidade de Tsinghua e a comunidade de código aberto OpenBMB, lançou recentemente e disponibilizou como código aberto um grande avanço no treinamento de modelos de grande porte com baixo número de bits: o BitCPM-CANN. Desenvolvido nativamente na plataforma Ascend da Huawei, esse marco promove a redução de peso e a implantação técnica de grandes modelos de IA na borda.

Vantagem de memória seis vezes maior rompe barreiras de hardware
O BitCPM-CANN, agora de código aberto, está disponível em quatro tamanhos: 0,5B, 1B, 3B e 8B. Em comparações diretas com modelos de precisão total de tamanho equivalente, ele oferece desempenho excepcional. Em relação à precisão BF16 convencional, ele alcança uma economia de memória aproximadamente seis vezes maior durante a inferência, reduzindo drasticamente o hardware necessário para executar modelos de grande porte.
Para dispositivos móveis, essa vantagem de memória seis vezes maior significa que modelos grandes com 8B de parâmetros — que antes exigiam hardware de ponta — agora podem ser executados sem problemas em smartphones emblemáticos convencionais. Essa notável margem de memória acelera diretamente a adoção e a implantação comercial da tecnologia de IA na borda em plataformas móveis.
Alta taxa de retenção valida a reprodutibilidade da engenharia
Apesar da redução no tamanho do modelo, o BitCPM-CANN mantém um desempenho excepcionalmente alto, com taxas de retenção de capacidade que variam de 90% a 97,2%. Para os três tamanhos de modelo maiores, as taxas de retenção ficam entre 95,7% e 97,2%, enquanto mesmo a menor variante, de 0,5B, ultrapassa 90%.
Esses resultados impressionantes demonstram sistematicamente que a abordagem de treinamento de baixo número de bits oferece forte escalabilidade e reprodutibilidade de engenharia. O MBLab estabeleceu uma base abrangente para o treinamento de baixo número de bits utilizando essas tecnologias centrais, abrangendo toda a pilha de engenharia — incluindo adaptação ao ambiente, suporte a sequências longas de 32K e operadores fundidos —, proporcionando assim uma infraestrutura pública robusta para futuros trabalhos de treinamento de baixo número de bits na plataforma Ascend.
Artigo relacionado
A Seed, da ByteDance, lança campanha global de captação de talentos em campus universitários, oferecendo ações virtuais para conquistar os melhores especialistas em grandes modelos de inteligência artificial
No cenário competitivo dos grandes modelos de linguagem, garantir talentos de alto nível continua sendo o ativo estratégico mais crítico.Em 1º de abril, ByteDance anunciou o lançamento de sua iniciativa global de recrutamento campus Seed, parte de se
Suno para Marcas d'Água em Músicas Durante Batalhas Legais
O Suno, plataforma que permite aos usuários gerar músicas criadas por inteligência artificial, apresentou novas funcionalidades para rotular as faixas produzidas pela plataforma, restringir downloads e atualizar os padrões da comunidade para coibir r
Musk admite que vazamento do código do Grok expôs dados de usuários e promete apagar todas as informações históricas.
Elon Musk abordou diretamente a controvérsia sobre privacidade envolvendo o Grok Build, começando com um simples "Verdadeiro" para confirmar a validade do incidente. Ele prometeu que todos os dados dos usuários carregados anteriormente para a SpaceXA
Recomendações de tópicos especiais relacionados
Comentários (0)
O MBLab, em colaboração com a Universidade de Tsinghua e a comunidade de código aberto OpenBMB, lançou recentemente e disponibilizou como código aberto um grande avanço no treinamento de modelos de grande porte com baixo número de bits: o BitCPM-CANN. Desenvolvido nativamente na plataforma Ascend da Huawei, esse marco promove a redução de peso e a implantação técnica de grandes modelos de IA na borda.

Vantagem de memória seis vezes maior rompe barreiras de hardware
O BitCPM-CANN, agora de código aberto, está disponível em quatro tamanhos: 0,5B, 1B, 3B e 8B. Em comparações diretas com modelos de precisão total de tamanho equivalente, ele oferece desempenho excepcional. Em relação à precisão BF16 convencional, ele alcança uma economia de memória aproximadamente seis vezes maior durante a inferência, reduzindo drasticamente o hardware necessário para executar modelos de grande porte.
Para dispositivos móveis, essa vantagem de memória seis vezes maior significa que modelos grandes com 8B de parâmetros — que antes exigiam hardware de ponta — agora podem ser executados sem problemas em smartphones emblemáticos convencionais. Essa notável margem de memória acelera diretamente a adoção e a implantação comercial da tecnologia de IA na borda em plataformas móveis.
Alta taxa de retenção valida a reprodutibilidade da engenharia
Apesar da redução no tamanho do modelo, o BitCPM-CANN mantém um desempenho excepcionalmente alto, com taxas de retenção de capacidade que variam de 90% a 97,2%. Para os três tamanhos de modelo maiores, as taxas de retenção ficam entre 95,7% e 97,2%, enquanto mesmo a menor variante, de 0,5B, ultrapassa 90%.
Esses resultados impressionantes demonstram sistematicamente que a abordagem de treinamento de baixo número de bits oferece forte escalabilidade e reprodutibilidade de engenharia. O MBLab estabeleceu uma base abrangente para o treinamento de baixo número de bits utilizando essas tecnologias centrais, abrangendo toda a pilha de engenharia — incluindo adaptação ao ambiente, suporte a sequências longas de 32K e operadores fundidos —, proporcionando assim uma infraestrutura pública robusta para futuros trabalhos de treinamento de baixo número de bits na plataforma Ascend.
A Seed, da ByteDance, lança campanha global de captação de talentos em campus universitários, oferecendo ações virtuais para conquistar os melhores especialistas em grandes modelos de inteligência artificial
No cenário competitivo dos grandes modelos de linguagem, garantir talentos de alto nível continua sendo o ativo estratégico mais crítico.Em 1º de abril, ByteDance anunciou o lançamento de sua iniciativa global de recrutamento campus Seed, parte de se
Suno para Marcas d'Água em Músicas Durante Batalhas Legais
O Suno, plataforma que permite aos usuários gerar músicas criadas por inteligência artificial, apresentou novas funcionalidades para rotular as faixas produzidas pela plataforma, restringir downloads e atualizar os padrões da comunidade para coibir r
Musk admite que vazamento do código do Grok expôs dados de usuários e promete apagar todas as informações históricas.
Elon Musk abordou diretamente a controvérsia sobre privacidade envolvendo o Grok Build, começando com um simples "Verdadeiro" para confirmar a validade do incidente. Ele prometeu que todos os dados dos usuários carregados anteriormente para a SpaceXA











