집칭화대와 텐센트 훈위안, NPU 속도 4.1배 향상으로 MLSys2026 MoE 추론 챌린지 우승
칭화대학교 스토리지 연구소와 텐센트의 MegEngine AI 인프라 팀은 최근, 선도적인 머신러닝 시스템 컨퍼런스인 MLSys2026에서 열린 ‘MoE 모델 추론 최적화 챌린지’에서 세계 챔피언에 올랐다.
이 공동 연구팀은 이종 NPU 칩에서 실행되는 1조 규모 매개변수를 가진 전문가 혼합(MoE) 아키텍처의 추론 성능 병목 현상을 해결하기 위해, 공식 모델과 NPU 하드웨어를 위한 풀체인 최적화 솔루션을 설계했습니다. 전문가 수준 작업 분할을 위한 E-Shard 전략, PSUM 3D 텐서 배치 판독, 동시 처리를 위해 여러 뱅크에 출력을 분산시키는 GEMV 경로, 초기 데이터 전송 지연 시간을 줄이기 위한 스칼라 엔진 등을 도입함으로써, 연산자 수준에서 낮은 데이터 전송 효율과 반복적인 활성화 전송 문제를 성공적으로 해결했습니다.
이와 동시에 연구팀은 어텐션 모듈을 위한 온칩 데이터 레이아웃을 재구성하고 핵심 트랜스포머 연산자를 통합하여 비트 수준의 고정밀 정렬을 달성했습니다.
그림 3: E-Shard 전문가 분할, 연속 DMA, PSUM/GEMV 동시성, 콜드 스타트 파이프라인 및 프리페치 제어를 특징으로 하는 MoE 최적화 아키텍처 다이어그램.
또한, 연구팀은 “Knight”라는 에이전트 기반 추론 연산자 최적화기를 개발했습니다. 제안, 코드 구현, 반복이라는 자동화된 폐쇄 루프 프로세스를 통해 최적화 탐색 공간을 획기적으로 확대했습니다. 그 결과, 종단 간 추론 시간이 14.91초에서 3.56초로 단축되어 4.1배의 속도 향상을 달성했으며, 단일 단계 디코딩 지연 시간은 12.63ms에서 5.45ms로 단축되었으며, 가중치 로딩 중 DMA 엔진 활용률은 약 80%까지 상승했습니다.
스탠퍼드와 MIT 등 세계 유수의 대학 팀들을 제친 이번 성과는, 대규모 모델을 기반 시스템에 적용하고 연산자를 최적화하는 데 있어 중국 팀들의 깊은 전문성을 입증합니다. 또한 향후 슈퍼노드 컴퓨팅 플랫폼에 1조 매개변수 규모의 MoE 모델을 배포하기 위한 귀중한 엔지니어링 청사진을 제시합니다.
관련 기사
머스크, Grok 구축 과정에서 사용자 코드 유출 인정, 모든 과거 데이터 삭제 약속
Elon Musk는 Grok Build와 관련된 프라이버시 논란에 대해 직접적으로 언급하며, 사건의 타당성을 확인하기 위해 간단한 "True"로 답변했습니다. 그는 SpaceXAI에 이전에 업로드된 모든 사용자 데이터를 영구적으로 삭제하겠다고 약속하며, "바이트 하나도 남기지 않겠다"고 밝혔습니다. 이는 주요 기술 리더가 실수를 공개적으로 인정하고 사용자 데이터를 능동적으로 삭제한 AI 산업 최초의 사례입니다.안전 연구원의 '피싱' 테스트는
미국의 주식 시장이 AI와 항공우주 거대 기업들의 1조 달러 데뷔를 앞두고 역사적 이정표에 도달
엘론 머스크, 샘 알트만, 그리고 다리오 아모데이라는 기술 산업의 거인 세 명이 각자의 기업에 대해 공개 시장 상장(IPO)을 앞두고 있다. 스페이스X, 오픈AI, 앤트로픽이라는 세 산업의 거대 기업이 1조 달러 이상의 기업 가치를 달성하며 상장을 준비함에 따라, 2026년은 미국 역사상 신주 발행 측면에서 가장 중요한 해가 될 것으로 전망된다.이러한 역사적인 자본 증가는 전 세계 금융계의 주목을 받고 있으며, 공공 시장이 이러한 규모의 자금
스웨덴의 AI 스타트업 로버블 아이즈, 주요 자금 조달 라운드 이후 132억 달러의 기업 가치 달성
AI 기반 코딩 도구가 인기를 얻으면서 스웨덴 스타트업 로버블(Lovable)이 주요 자금 조달 라운드를 성사시켰다. 이 회사는 30억 달러를 조달하여 지난 12월 기록된 66억 달러의 두 배인 132억 달러의 기업 가치를 달성할 수 있을 것으로 기대된다. 멘로 벤처스(Menlo Ventures)가 이 투자 라운드를 주도할 것으로 예상된다.로버블의 매력은 복잡한 코딩 기술이 필요하지 않은 소프트웨어 제작을 단순화하는 핵심 '바이브 코딩(vib
관련 특별 주제 추천
SEO
검색 전략 수립을 위한 최고의 AI SERP 분석 도구
2026년 검색 전략을 위한 최신 최고의 AI SERP 분석 도구는 XIX.AI가 엄격한 실전 테스트를 거쳐 엄선하고 매주 순위를 업데이트하여 제공합니다. 이 강력한 도구들을 활용하면 숨겨진 최적화 기회를 발굴하고, 콘텐츠 성과를 높이며, 검색 분야에서 경쟁 우위를 확보할 수 있습니다. 지금 바로 검색 전략을 한 단계 업그레이드해 줄 완벽한 도구를 찾아보세요. 지금 바로 확인해 보세요!
13 도구
xix.ai
데이터 분석
SaaS 및 이커머스 팀을 위한 KPI 모니터링용 최고의 AI 이상 감지 도구
2026년 최신 최고의 KPI 모니터링용 AI 이상 탐지 도구 SaaS 및 이커머스 팀을 위한 상위 평가 도구! XIX.AI는 엄격한 실제 테스트와 매주 업데이트되는 순위를 기반으로 강력한 게임 체인저 컬렉션을 선별했습니다. 생산성을 높이고 AI 경쟁력을 발휘할 수 있는 필수 솔루션을 식별하는 데 도움이 되는 상세한 무료 대 유료 비교 인사이트를 찾을 수 있습니다. 지금 탐색하세요!
10 도구
xix.ai
글쓰기
장문 SEO 기사용 최고의 AI 개요 생성기
XIX.AI가 꼼꼼하게 선별한 2026년 최신 최고 평점을 받은 장문 SEO 기사용 AI 개요 생성기. 이 강력한 도구들은 고품질 콘텐츠를 신속하게 제작하는 데 획기적인 도움을 제공하여 글쓰기 효율을 크게 높여줍니다. 무료 버전과 유료 버전의 비교 정보와 실제 테스트 결과, 상세한 순위 정보를 확인하여 여러분의 필요에 딱 맞는, 꼭 사용해 봐야 할 옵션을 찾아보세요. 지금 바로 살펴보고 AI를 활용한 경쟁력을 확보하세요.
8 도구
xix.ai
교육 및 학습
숙제 및 시험 준비를 위한 AI 학습 도구
2026년 숙제 및 시험 준비를 위한 최신 최고의 AI 학습 도구! XIX.AI는 학생들이 생산성을 높이고, 숙제 완료 과정을 효율화하며, 실제 시험을 통해 우수한 성적을 거둘 수 있도록 돕는 강력하고 혁신적인 도구들의 최고 평점 목록을 엄선했습니다. 무료와 유료 버전의 비교 정보, 상세한 순위, 꼭 사용해 봐야 할 옵션을 확인하고 AI의 힘을 최대한 활용하세요. 지금 바로 살펴보세요!
10 도구
xix.ai
음악 작곡
songwriter, 후크, 탑라인 및 다국어 초안 세션을 위한 AI 보컬 데모 도구
2026년 최신 최고의 AI 보컬 데모 도구: 작곡가, 후크 제작자 및 다국어 콘텐츠 팀을 위한! XIX.AI는 엄격한 실전 테스트를 거친 강력한 혁신 도구의 최고 평점 목록을 선별했습니다. 여기서는 무료 대 유료 비교 데이터, 종합 순위, 그리고 필수 추천 옵션을 확인할 수 있어 작사 효율성을 높이고 창의적 잠재력을 발휘하는 데 도움이 됩니다. 지금 탐색하여 모든 콘텐츠 요구에 맞는 완벽한 도구를 발견하세요!
9 도구
xix.ai
사업
중소기업을 위한 최고의 AI 경쟁사 분석 도구
2026년 중소기업을 위한 최신 최고 평점의 AI 경쟁 분석 도구! XIX.AI는 매주 엄격한 실제 테스트와 상세한 순위를 바탕으로 업데이트되는, 업계 판도를 바꿀 만큼 강력한 도구 모음을 엄선했습니다. 생산성을 높이고 경쟁 우위를 확보할 수 있는 ‘꼭 사용해 봐야 할’ 도구를 찾아보실 수 있도록, 무료 버전과 유료 버전의 포괄적인 비교 정보를 제공합니다. 지금 바로 살펴보고 여러분에게 딱 맞는 도구를 찾아보세요!
9 도구
xix.ai
의견 (1)
0/500
![BrianMartinez]()
That's a massive leap! 4.1x NPU speedup for MoE inference? I'm curious about the techniques they used. Is it better quantization or sparse attention? Either way, congrats to the team! 🎉
칭화대학교 스토리지 연구소와 텐센트의 MegEngine AI 인프라 팀은 최근, 선도적인 머신러닝 시스템 컨퍼런스인 MLSys2026에서 열린 ‘MoE 모델 추론 최적화 챌린지’에서 세계 챔피언에 올랐다.
이 공동 연구팀은 이종 NPU 칩에서 실행되는 1조 규모 매개변수를 가진 전문가 혼합(MoE) 아키텍처의 추론 성능 병목 현상을 해결하기 위해, 공식 모델과 NPU 하드웨어를 위한 풀체인 최적화 솔루션을 설계했습니다. 전문가 수준 작업 분할을 위한 E-Shard 전략, PSUM 3D 텐서 배치 판독, 동시 처리를 위해 여러 뱅크에 출력을 분산시키는 GEMV 경로, 초기 데이터 전송 지연 시간을 줄이기 위한 스칼라 엔진 등을 도입함으로써, 연산자 수준에서 낮은 데이터 전송 효율과 반복적인 활성화 전송 문제를 성공적으로 해결했습니다.
이와 동시에 연구팀은 어텐션 모듈을 위한 온칩 데이터 레이아웃을 재구성하고 핵심 트랜스포머 연산자를 통합하여 비트 수준의 고정밀 정렬을 달성했습니다.
그림 3: E-Shard 전문가 분할, 연속 DMA, PSUM/GEMV 동시성, 콜드 스타트 파이프라인 및 프리페치 제어를 특징으로 하는 MoE 최적화 아키텍처 다이어그램.
또한, 연구팀은 “Knight”라는 에이전트 기반 추론 연산자 최적화기를 개발했습니다. 제안, 코드 구현, 반복이라는 자동화된 폐쇄 루프 프로세스를 통해 최적화 탐색 공간을 획기적으로 확대했습니다. 그 결과, 종단 간 추론 시간이 14.91초에서 3.56초로 단축되어 4.1배의 속도 향상을 달성했으며, 단일 단계 디코딩 지연 시간은 12.63ms에서 5.45ms로 단축되었으며, 가중치 로딩 중 DMA 엔진 활용률은 약 80%까지 상승했습니다.
스탠퍼드와 MIT 등 세계 유수의 대학 팀들을 제친 이번 성과는, 대규모 모델을 기반 시스템에 적용하고 연산자를 최적화하는 데 있어 중국 팀들의 깊은 전문성을 입증합니다. 또한 향후 슈퍼노드 컴퓨팅 플랫폼에 1조 매개변수 규모의 MoE 모델을 배포하기 위한 귀중한 엔지니어링 청사진을 제시합니다.
머스크, Grok 구축 과정에서 사용자 코드 유출 인정, 모든 과거 데이터 삭제 약속
Elon Musk는 Grok Build와 관련된 프라이버시 논란에 대해 직접적으로 언급하며, 사건의 타당성을 확인하기 위해 간단한 "True"로 답변했습니다. 그는 SpaceXAI에 이전에 업로드된 모든 사용자 데이터를 영구적으로 삭제하겠다고 약속하며, "바이트 하나도 남기지 않겠다"고 밝혔습니다. 이는 주요 기술 리더가 실수를 공개적으로 인정하고 사용자 데이터를 능동적으로 삭제한 AI 산업 최초의 사례입니다.안전 연구원의 '피싱' 테스트는
미국의 주식 시장이 AI와 항공우주 거대 기업들의 1조 달러 데뷔를 앞두고 역사적 이정표에 도달
엘론 머스크, 샘 알트만, 그리고 다리오 아모데이라는 기술 산업의 거인 세 명이 각자의 기업에 대해 공개 시장 상장(IPO)을 앞두고 있다. 스페이스X, 오픈AI, 앤트로픽이라는 세 산업의 거대 기업이 1조 달러 이상의 기업 가치를 달성하며 상장을 준비함에 따라, 2026년은 미국 역사상 신주 발행 측면에서 가장 중요한 해가 될 것으로 전망된다.이러한 역사적인 자본 증가는 전 세계 금융계의 주목을 받고 있으며, 공공 시장이 이러한 규모의 자금
스웨덴의 AI 스타트업 로버블 아이즈, 주요 자금 조달 라운드 이후 132억 달러의 기업 가치 달성
AI 기반 코딩 도구가 인기를 얻으면서 스웨덴 스타트업 로버블(Lovable)이 주요 자금 조달 라운드를 성사시켰다. 이 회사는 30억 달러를 조달하여 지난 12월 기록된 66억 달러의 두 배인 132억 달러의 기업 가치를 달성할 수 있을 것으로 기대된다. 멘로 벤처스(Menlo Ventures)가 이 투자 라운드를 주도할 것으로 예상된다.로버블의 매력은 복잡한 코딩 기술이 필요하지 않은 소프트웨어 제작을 단순화하는 핵심 '바이브 코딩(vib
2026년 검색 전략을 위한 최신 최고의 AI SERP 분석 도구는 XIX.AI가 엄격한 실전 테스트를 거쳐 엄선하고 매주 순위를 업데이트하여 제공합니다. 이 강력한 도구들을 활용하면 숨겨진 최적화 기회를 발굴하고, 콘텐츠 성과를 높이며, 검색 분야에서 경쟁 우위를 확보할 수 있습니다. 지금 바로 검색 전략을 한 단계 업그레이드해 줄 완벽한 도구를 찾아보세요. 지금 바로 확인해 보세요!
13 도구
xix.ai
2026년 최신 최고의 KPI 모니터링용 AI 이상 탐지 도구 SaaS 및 이커머스 팀을 위한 상위 평가 도구! XIX.AI는 엄격한 실제 테스트와 매주 업데이트되는 순위를 기반으로 강력한 게임 체인저 컬렉션을 선별했습니다. 생산성을 높이고 AI 경쟁력을 발휘할 수 있는 필수 솔루션을 식별하는 데 도움이 되는 상세한 무료 대 유료 비교 인사이트를 찾을 수 있습니다. 지금 탐색하세요!
10 도구
xix.ai
XIX.AI가 꼼꼼하게 선별한 2026년 최신 최고 평점을 받은 장문 SEO 기사용 AI 개요 생성기. 이 강력한 도구들은 고품질 콘텐츠를 신속하게 제작하는 데 획기적인 도움을 제공하여 글쓰기 효율을 크게 높여줍니다. 무료 버전과 유료 버전의 비교 정보와 실제 테스트 결과, 상세한 순위 정보를 확인하여 여러분의 필요에 딱 맞는, 꼭 사용해 봐야 할 옵션을 찾아보세요. 지금 바로 살펴보고 AI를 활용한 경쟁력을 확보하세요.
8 도구
xix.ai
2026년 숙제 및 시험 준비를 위한 최신 최고의 AI 학습 도구! XIX.AI는 학생들이 생산성을 높이고, 숙제 완료 과정을 효율화하며, 실제 시험을 통해 우수한 성적을 거둘 수 있도록 돕는 강력하고 혁신적인 도구들의 최고 평점 목록을 엄선했습니다. 무료와 유료 버전의 비교 정보, 상세한 순위, 꼭 사용해 봐야 할 옵션을 확인하고 AI의 힘을 최대한 활용하세요. 지금 바로 살펴보세요!
10 도구
xix.ai
2026년 최신 최고의 AI 보컬 데모 도구: 작곡가, 후크 제작자 및 다국어 콘텐츠 팀을 위한! XIX.AI는 엄격한 실전 테스트를 거친 강력한 혁신 도구의 최고 평점 목록을 선별했습니다. 여기서는 무료 대 유료 비교 데이터, 종합 순위, 그리고 필수 추천 옵션을 확인할 수 있어 작사 효율성을 높이고 창의적 잠재력을 발휘하는 데 도움이 됩니다. 지금 탐색하여 모든 콘텐츠 요구에 맞는 완벽한 도구를 발견하세요!
9 도구
xix.ai
2026년 중소기업을 위한 최신 최고 평점의 AI 경쟁 분석 도구! XIX.AI는 매주 엄격한 실제 테스트와 상세한 순위를 바탕으로 업데이트되는, 업계 판도를 바꿀 만큼 강력한 도구 모음을 엄선했습니다. 생산성을 높이고 경쟁 우위를 확보할 수 있는 ‘꼭 사용해 봐야 할’ 도구를 찾아보실 수 있도록, 무료 버전과 유료 버전의 포괄적인 비교 정보를 제공합니다. 지금 바로 살펴보고 여러분에게 딱 맞는 도구를 찾아보세요!
9 도구
xix.ai
That's a massive leap! 4.1x NPU speedup for MoE inference? I'm curious about the techniques they used. Is it better quantization or sparse attention? Either way, congrats to the team! 🎉
