Дом
M6 Intelligence и Цинхуа представили открытый исходный код BitCPM-CANN для запуска крупных моделей на мобильных устройствах
Компания MBLab в сотрудничестве с Университетом Цинхуа и сообществом OpenBMB, занимающимся разработкой программного обеспечения с открытым исходным кодом, недавно представила и открыла для общего доступа значительный прорыв в области обучения крупных моделей с низким битовым разрешением: BitCPM-CANN. Разработанная непосредственно на платформе Ascend компании Huawei, эта знаковая разработка способствует снижению веса и упрощению внедрения крупных моделей искусственного интеллекта на периферийных устройствах.

Шестикратное преимущество в использовании памяти преодолевает аппаратные ограничения
BitCPM-CANN, теперь доступный в виде открытого исходного кода, представлен в четырёх размерах: 0,5B, 1B, 3B и 8B. При прямом сравнении с моделями полной точности эквивалентного размера он демонстрирует выдающуюся производительность. По сравнению с традиционной точностью BF16 она обеспечивает примерно шестикратную экономию памяти при инференсе, что радикально сокращает требования к аппаратному обеспечению, необходимому для работы крупных моделей.
Для мобильных устройств это шестикратное преимущество в использовании памяти означает, что крупные модели с 8B параметров, которые раньше требовали аппаратного обеспечения высшего уровня, теперь могут бесперебойно работать на популярных флагманских смартфонах. Этот значительный запас памяти напрямую ускоряет внедрение и коммерческое развертывание технологий ИИ на периферийных устройствах на мобильных платформах.
Высокий коэффициент сохранения характеристик подтверждает воспроизводимость инженерных решений
Несмотря на уменьшение размера модели, BitCPM-CANN сохраняет исключительно высокую производительность, при этом коэффициенты сохранения способностей варьируются от 90% до 97,2%. Для трёх моделей большего размера коэффициент сохранения составляет от 95,7% до 97,2%, а даже у самой маленькой версии объёмом 0,5B он превышает 90%.
Эти впечатляющие результаты систематически демонстрируют, что подход к обучению с использованием малого количества битов обеспечивает высокую масштабируемость и инженерную воспроизводимость. Компания MBLab создала на основе этих ключевых технологий всеобъемлющую основу для обучения с низким битовым разрешением, охватывающую полный стек инженерных решений — включая адаптацию к среде, поддержку длинных последовательностей длиной 32K и объединенные операторы — тем самым обеспечивая надежную общедоступную инфраструктуру для будущих работ по обучению с низким битовым разрешением на платформе Ascend.
Связанная статья
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её
Google тестирует агента Remy AI для Gemini по мере смещения фокуса на управление пользователями
Согласно Business Insider, Google тестирует Remy, нового ИИ-персонального агента для Gemini. Этот инструмент предназначен для выполнения задач от имени пользователей, упрощая как профессиональные рабочие процессы, так и повседневные рутины.В настоящ
Рекомендации по связанным специальным темам
Комментарии (0)
Компания MBLab в сотрудничестве с Университетом Цинхуа и сообществом OpenBMB, занимающимся разработкой программного обеспечения с открытым исходным кодом, недавно представила и открыла для общего доступа значительный прорыв в области обучения крупных моделей с низким битовым разрешением: BitCPM-CANN. Разработанная непосредственно на платформе Ascend компании Huawei, эта знаковая разработка способствует снижению веса и упрощению внедрения крупных моделей искусственного интеллекта на периферийных устройствах.

Шестикратное преимущество в использовании памяти преодолевает аппаратные ограничения
BitCPM-CANN, теперь доступный в виде открытого исходного кода, представлен в четырёх размерах: 0,5B, 1B, 3B и 8B. При прямом сравнении с моделями полной точности эквивалентного размера он демонстрирует выдающуюся производительность. По сравнению с традиционной точностью BF16 она обеспечивает примерно шестикратную экономию памяти при инференсе, что радикально сокращает требования к аппаратному обеспечению, необходимому для работы крупных моделей.
Для мобильных устройств это шестикратное преимущество в использовании памяти означает, что крупные модели с 8B параметров, которые раньше требовали аппаратного обеспечения высшего уровня, теперь могут бесперебойно работать на популярных флагманских смартфонах. Этот значительный запас памяти напрямую ускоряет внедрение и коммерческое развертывание технологий ИИ на периферийных устройствах на мобильных платформах.
Высокий коэффициент сохранения характеристик подтверждает воспроизводимость инженерных решений
Несмотря на уменьшение размера модели, BitCPM-CANN сохраняет исключительно высокую производительность, при этом коэффициенты сохранения способностей варьируются от 90% до 97,2%. Для трёх моделей большего размера коэффициент сохранения составляет от 95,7% до 97,2%, а даже у самой маленькой версии объёмом 0,5B он превышает 90%.
Эти впечатляющие результаты систематически демонстрируют, что подход к обучению с использованием малого количества битов обеспечивает высокую масштабируемость и инженерную воспроизводимость. Компания MBLab создала на основе этих ключевых технологий всеобъемлющую основу для обучения с низким битовым разрешением, охватывающую полный стек инженерных решений — включая адаптацию к среде, поддержку длинных последовательностей длиной 32K и объединенные операторы — тем самым обеспечивая надежную общедоступную инфраструктуру для будущих работ по обучению с низким битовым разрешением на платформе Ascend.
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её











