M6 인텔리전스와 칭화대, 모바일 기기에서 대규모 모델 구동을 위한 오픈소스 BitCPM-CANN 공개
MBLab은 칭화대학교 및 OpenBMB 오픈소스 커뮤니티와 협력하여, 최근 저비트 대용량 모델 훈련 분야에서 획기적인 성과를 거둔 ‘BitCPM-CANN’을 공개하고 오픈소스로 배포했습니다. 화웨이의 Ascend 플랫폼에서 네이티브로 개발된 이 획기적인 기술은 엣지 측 AI 대규모 모델의 경량화 및 엔지니어링 배포를 한 단계 발전시켰습니다.

6배에 달하는 메모리 효율로 하드웨어의 한계를 극복
이제 오픈소스로 공개된 BitCPM-CANN은 0.5B, 1B, 3B, 8B의 네 가지 크기로 제공됩니다. 동등한 크기의 정밀도 모델과 직접 비교했을 때, 이 모델은 뛰어난 성능을 보여줍니다. 기존 BF16 정밀도에 비해 추론 시 메모리 사용량을 약 6배 절감하여, 대규모 모델 실행에 필요한 하드웨어 사양을 대폭 낮춥니다.
모바일 기기의 경우, 이러한 6배에 달하는 메모리 이점 덕분에 한때 최고급 하드웨어가 필요했던 8B 매개변수 규모의 대형 모델도 이제 주류 플래그십 스마트폰에서 원활하게 실행될 수 있습니다. 이러한 놀라운 메모리 여유 공간은 모바일 플랫폼에서 엣지 측 AI 기술의 도입과 상용화를 직접적으로 가속화합니다.
높은 성능 유지율로 엔지니어링 재현성 입증
모델 크기가 축소되었음에도 불구하고, BitCPM-CANN은 90%에서 97.2%에 이르는 능력 유지율을 보이며 매우 높은 성능을 유지합니다. 세 가지 대형 모델의 경우 성능 유지율이 95.7%에서 97.2% 사이이며, 가장 작은 0.5B 변형 모델조차 90%를 상회합니다.
이러한 인상적인 결과는 저비트 훈련 접근 방식이 강력한 확장성과 엔지니어링 재현성을 제공함을 체계적으로 입증합니다. MBLab은 이러한 핵심 기술을 활용하여 환경 적응, 32K 장문 시퀀스 지원, 융합 연산자 등을 포함한 전체 엔지니어링 스택을 아우르는 포괄적인 저비트 훈련 기반을 구축함으로써, Ascend 플랫폼에서 향후 진행될 저비트 훈련 연구를 위한 견고한 공개 인프라를 제공합니다.
관련 기사
Core Web Vitals를 수정하여 SEO 순위 향상을 위한 방법
AI 도구를 활용한 성적표 코멘트 작성 간소화서론성적표 코멘트 생성을 위한 AI 도구매직 스쿨(Magic School)알마낙 AI(Almanac AI)챗 GPT(Chat GPT)매직 스쿨을 사용하여 성적표 코멘트 생성하기매직 스쿨 로그인성적표 코멘트 도구 선택학생별 코멘트 맞춤 설정알마낙 AI를 사용하여 성적표 코멘트 생성하기과정 및 평가 체계 설정성적표 분량 및 학생 정보 구성알마낙 AI를 통한 코멘트 생성매직 스쿨과
Slackbot이 AI 에이전트가 됩니다
Salesforce의 기업용 메시징 플랫폼인 Slack에 내장된 자동 비서 Slackbot이 AI 에이전트로 진화하고 있습니다. Salesforce의 CTO인 Parker Harris는 이것이 OpenAI의 ChatGPT에 버금가는 바이럴 현상을 달성할 것으로 전망합니다.클라우드 소프트웨어 거대 기업인 Salesforce는 화요일 업데이트된 Slackbot을 출시했습니다. Business+ 및 Enterprise+ 고객에게 제공되는 이 새로운
ByteDance, Doubao 14.6% 급증에 핵심 AI 인센티브 강화
ByteDance는 최근 DouBao 지주 설명회를 소집하여 DouBao 부서에 종사하는 직원들을 위한 새로운 인센티브 정책을 공개했다. DouBao 주식의 행사가액은 2026년 6월의 14.85달러에서 17.02달러로 인상되었으며, 이는 약 14.6%의 증가를 의미한다.이번 개정은 DouBao 주식의 가치를 높일 뿐만 아니라 그 분배 범위를 크게 확대한다. 개인의 역할에 따라 일부 직원은 총 보상액의 약 5%에 해당하는 DouBao 주식을
관련 특별 주제 추천
의견 (0)
0/500
MBLab은 칭화대학교 및 OpenBMB 오픈소스 커뮤니티와 협력하여, 최근 저비트 대용량 모델 훈련 분야에서 획기적인 성과를 거둔 ‘BitCPM-CANN’을 공개하고 오픈소스로 배포했습니다. 화웨이의 Ascend 플랫폼에서 네이티브로 개발된 이 획기적인 기술은 엣지 측 AI 대규모 모델의 경량화 및 엔지니어링 배포를 한 단계 발전시켰습니다.

6배에 달하는 메모리 효율로 하드웨어의 한계를 극복
이제 오픈소스로 공개된 BitCPM-CANN은 0.5B, 1B, 3B, 8B의 네 가지 크기로 제공됩니다. 동등한 크기의 정밀도 모델과 직접 비교했을 때, 이 모델은 뛰어난 성능을 보여줍니다. 기존 BF16 정밀도에 비해 추론 시 메모리 사용량을 약 6배 절감하여, 대규모 모델 실행에 필요한 하드웨어 사양을 대폭 낮춥니다.
모바일 기기의 경우, 이러한 6배에 달하는 메모리 이점 덕분에 한때 최고급 하드웨어가 필요했던 8B 매개변수 규모의 대형 모델도 이제 주류 플래그십 스마트폰에서 원활하게 실행될 수 있습니다. 이러한 놀라운 메모리 여유 공간은 모바일 플랫폼에서 엣지 측 AI 기술의 도입과 상용화를 직접적으로 가속화합니다.
높은 성능 유지율로 엔지니어링 재현성 입증
모델 크기가 축소되었음에도 불구하고, BitCPM-CANN은 90%에서 97.2%에 이르는 능력 유지율을 보이며 매우 높은 성능을 유지합니다. 세 가지 대형 모델의 경우 성능 유지율이 95.7%에서 97.2% 사이이며, 가장 작은 0.5B 변형 모델조차 90%를 상회합니다.
이러한 인상적인 결과는 저비트 훈련 접근 방식이 강력한 확장성과 엔지니어링 재현성을 제공함을 체계적으로 입증합니다. MBLab은 이러한 핵심 기술을 활용하여 환경 적응, 32K 장문 시퀀스 지원, 융합 연산자 등을 포함한 전체 엔지니어링 스택을 아우르는 포괄적인 저비트 훈련 기반을 구축함으로써, Ascend 플랫폼에서 향후 진행될 저비트 훈련 연구를 위한 견고한 공개 인프라를 제공합니다.
Core Web Vitals를 수정하여 SEO 순위 향상을 위한 방법
AI 도구를 활용한 성적표 코멘트 작성 간소화서론성적표 코멘트 생성을 위한 AI 도구매직 스쿨(Magic School)알마낙 AI(Almanac AI)챗 GPT(Chat GPT)매직 스쿨을 사용하여 성적표 코멘트 생성하기매직 스쿨 로그인성적표 코멘트 도구 선택학생별 코멘트 맞춤 설정알마낙 AI를 사용하여 성적표 코멘트 생성하기과정 및 평가 체계 설정성적표 분량 및 학생 정보 구성알마낙 AI를 통한 코멘트 생성매직 스쿨과
Slackbot이 AI 에이전트가 됩니다
Salesforce의 기업용 메시징 플랫폼인 Slack에 내장된 자동 비서 Slackbot이 AI 에이전트로 진화하고 있습니다. Salesforce의 CTO인 Parker Harris는 이것이 OpenAI의 ChatGPT에 버금가는 바이럴 현상을 달성할 것으로 전망합니다.클라우드 소프트웨어 거대 기업인 Salesforce는 화요일 업데이트된 Slackbot을 출시했습니다. Business+ 및 Enterprise+ 고객에게 제공되는 이 새로운
ByteDance, Doubao 14.6% 급증에 핵심 AI 인센티브 강화
ByteDance는 최근 DouBao 지주 설명회를 소집하여 DouBao 부서에 종사하는 직원들을 위한 새로운 인센티브 정책을 공개했다. DouBao 주식의 행사가액은 2026년 6월의 14.85달러에서 17.02달러로 인상되었으며, 이는 약 14.6%의 증가를 의미한다.이번 개정은 DouBao 주식의 가치를 높일 뿐만 아니라 그 분배 범위를 크게 확대한다. 개인의 역할에 따라 일부 직원은 총 보상액의 약 5%에 해당하는 DouBao 주식을





집






