샤오홍슈, ‘빅맥(BigMac)’ 공개: 다중 모달 훈련에서 메모리-속도 상충 관계 해소

다중 모달 대규모 언어 모델은 차세대 AI의 초석으로 부상하고 있지만, 그 훈련 인프라는 오랫동안 지속되어 온 상충 관계로 인해 제약을 받아 왔습니다. 즉, 속도를 최적화한 시스템은 메모리 제약으로 인해 어려움을 겪는 반면, 메모리 효율성을 우선시하는 시스템은 속도가 느려지는 경향이 있습니다. 샤오홍슈(Xiaohongshu)의 Dots Infra 팀은 이 병목 현상을 멀티모달 파이프라인 훈련의 파레토 프론티어로 규정하고, 이를 돌파해 냈다. 7월 22일, 이 팀은 네이티브 멀티모달 시나리오를 위해 특별히 설계된 새로운 파이프라인 병렬 훈련 패러다임인 ‘BigMac’을 오픈소스로 공개했습니다. 이 프로젝트는 현재 GitHub의 Dots-Infra 저장소에서 확인할 수 있습니다.

표준 트랜스포머와 달리, 다중 모달 모델은 본질적으로 복잡합니다. 일반적인 다중 모달 대규모 언어 모델(MLLM)은 이미지를 임베딩으로 변환하는 모달 인코더, 추론을 위한 LLM 백본, 그리고 LLM의 출력을 이미지나 음성 같은 대상 모달리티로 다시 매핑하는 생성기라는 세 가지 별개의 구성 요소로 이루어져 있습니다. 이러한 구성 요소들 간의 상당한 구조적 차이로 인해, 이를 단일 훈련 파이프라인에 통합할 때 큰 어려움이 발생합니다.

현재 업계의 솔루션은 일반적으로 두 가지 범주로 나뉩니다. 첫 번째 접근 방식은 인코더와 생성기를 LLM 파이프라인에서 분리하여 별도로 실행함으로써 계산 효율성을 우선시합니다. 이는 모달 모듈의 처리 시간 변동으로 인해 LLM 파이프라인에 ‘버블’이 발생하는 것을 방지하지만, 활성화 메모리가 마이크로배치 수에 비례하여 증가하므로 대규모 환경에서는 높은 비용이 발생합니다. 두 번째 접근 방식은 모든 모듈을 동일한 파이프라인 내에 유지함으로써 메모리 효율성에 중점을 두는데, 이는 활성화 수명 주기를 단축하고 메모리 사용량을 줄여줍니다. 그러나 인코더나 제너레이터 중 하나라도 속도가 느리면 전체 LLM 파이프라인이 정지되어 테일 버블이 발생합니다. 모델 규모가 커짐에 따라 두 설계 모두 치명적인 병목 현상을 드러냅니다.

BigMac은 간단하면서도 핵심적인 원칙을 통해 이 문제를 해결합니다. 바로 핵심 LLM 파이프라인을 최우선으로 유지한다는 것입니다. 대규모 LLM 훈련은 이미 1F1B나 인터리브드 1F1B와 같은 성숙한 스케줄링 전략에 의존하고 있으며, 이러한 전략은 프로덕션급 훈련 스택에 깊이 통합되어 있습니다. BigMac은 이러한 확립된 방법을 대체하기보다는 LLM 스케줄을 기본 타임라인으로 활용하며, 입력 데이터가 준비되었을 때 LLM의 실행 순서를 방해하지 않도록 인코더 및 제너레이터 연산을 전략적으로 삽입합니다. 연구팀은 이 아키텍처를 “준 의존성 안전 중첩 파이프라인(quasi-dependency-safe nested pipeline)”이라고 부릅니다.

이 설계는 두 가지 주요 이점을 제공합니다. 첫째, 인코더와 제너레이터 소요 시간의 변동이 더 이상 LLM 파이프라인 전반으로 전파되지 않아, LLM이 최적의 속도를 유지할 수 있습니다. 둘째, 모달 활성화에 필요한 메모리 요구량이 알고리즘 수준에서 O(1)로 감소합니다. 인코더는 더 이상 파이프라인이 종료될 때까지 모든 마이크로배치의 활성화 값을 유지할 필요가 없으며, 제너레이터는 긴 활성화 테일을 연장하는 것을 피할 수 있습니다. 본질적으로 BigMac은 성능을 위해 메모리를 희생하지 않습니다. 대신, 스케줄링 로직을 재구성하여 이 두 가지 목표가 상호 배타적이지 않고 양립할 수 있도록 합니다.

스케줄 설계와 실제 실행 간의 격차를 해소하는 데에는 시스템 통합, 인터페이스 정의, 성능 디버깅을 포함한 상당한 엔지니어링상의 난관이 수반됩니다. BigMac은 세 가지 핵심 기능을 제공함으로써 이러한 구체적인 과제를 해결하도록 설계되었습니다. 첫째, 글로벌 스케줄을 투명하게 만듭니다. 스케줄러는 런타임에 모든 파이프라인 랭크, 마이크로배치 및 모듈 유형을 포괄하는 종합적인 연산자 테이블을 생성합니다. 그런 다음 실행기는 이를 각 랭크별 로컬 시퀀스로 분배하며, Megatron Core와 같은 LLM 백엔드, 모달 런타임, 통신 계층과 원활하게 통합됩니다. 이러한 가시성 덕분에 점검과 백엔드 최적화가 더욱 용이해집니다.

둘째, BigMac은 알고리즘 엔지니어에게 노출되지 않는 파이프라인 병렬 인터페이스를 제공합니다. 사용자는 각 모듈이 무엇을 생성하고 소비하는지 정의하기만 하면 되며, 시스템이 내부적으로 단계 분할, 활성화 및 기울기 전달, 기기 간 통신을 처리합니다. 이를 통해 단일 GPU에서 검증된 다중 모달 실험을 파이프라인 병렬 처리로 자연스럽게 확장할 수 있습니다. 셋째, 프로파일링, 시뮬레이션 및 시각화 도구 모음을 제공합니다. 이러한 도구는 훈련 반복 과정을 연산자 수준으로 세분화하여, 각 시간 단계에서 각 랭크가 수행하는 작업을 정확히 드러내고, 유휴 기간을 식별하며, 의존성 병목 현상을 강조 표시합니다. 또한 이 시뮬레이터를 통해 팀은 본격적인 훈련에 착수하기 전에 다양한 PP 구성과 마이크로배치 조합을 테스트하여, 버블 및 처리량에 미치는 영향을 추정할 수 있습니다.

BigMac의 효과성은 두 가지 대표적인 워크로드를 통해 검증되었습니다. MLLM-Understanding 작업에서 Qwen3-30B-A3B를 백본으로 사용하고 13억 규모의 ViT 인코더를 적용했을 때, BigMac은 계산 효율이 높은 기준 모델인 Optimus에 비해 1.08배에서 1.1배의 속도 향상을, 메모리 효율이 높은 기준 모델인 Megatron-DistTrain에 비해 1.6배에서 1.9배의 속도 향상을 달성했습니다. 중요한 점은, GPU당 배치 크기가 증가함에 따라 메모리 사용량이 안정적으로 유지되는 반면, Optimus는 메모리 사용량이 급증하여 결국 더 큰 배치에서 메모리 부족(OOM) 오류가 발생한다는 것입니다. MLLM-Generation 작업은 20B MMDiT 생성기를 포함하는 등 더 복잡하며, 여기서 성능 격차는 더욱 벌어집니다. Optimus는 OOM으로 인해 테스트된 모든 배치 크기에서 실패하는 반면, BigMac은 생성기를 역방향으로 효율적으로 실행하고 활성화 값을 신속하게 해제함으로써 이를 피합니다. Megatron-DistTrain과 비교했을 때, BigMac은 안정적인 메모리 사용량으로 여전히 1.5배에서 1.9배의 속도 향상을 제공합니다. 이는 중첩 파이프라인의 주요 가치를 잘 보여줍니다. 즉, 과도한 활성화 값 유지나 상당한 유휴 시간 없이 인코더와 생성기의 의존성을 모두 처리한다는 점입니다.

BigMac은 현재 Dots의 다중 모달 모델 훈련 인프라의 핵심 구성 요소이며, 샤오홍슈(Xiaohongshu)의 운영 환경에서 가동되고 있습니다. 관련 논문인 “BigMac: Breaking the Pareto Frontier of Compute and Memory in Multimodal LLM Training”은 대화형 PP Profiler 추적 예시와 함께 arXiv에서 확인할 수 있습니다. 다중 모달 훈련에서 메모리와 속도 간의 상충 관계로 어려움을 겪고 있는 연구자 및 엔지니어들에게, 이 실제 운영 환경에서 검증된 오픈소스 프로젝트는 상당한 시간과 노력을 절약해 주는 실용적인 해결책을 제공합니다.