Xiaohongshu stellt „BigMac“ vor: Überwindung des Kompromisses zwischen Speicher und Geschwindigkeit beim multimodalen Training

Multimodale große Sprachmodelle entwickeln sich zum Eckpfeiler der KI der nächsten Generation, doch ihre Trainingsinfrastruktur wurde lange Zeit durch einen hartnäckigen Zielkonflikt behindert: Auf Geschwindigkeit optimierte Systeme haben oft mit Speicherbeschränkungen zu kämpfen, während solche, die auf Speichereffizienz setzen, in der Regel langsam sind. Das Dots-Infra-Team bei Xiaohongshu identifiziert diesen Engpass als die Pareto-Grenze des multimodalen Pipeline-Trainings und hat diese nun durchbrochen. Am 22. Juli veröffentlichte das Team „BigMac“ als Open-Source-Projekt – ein neuartiges Paradigma für das parallele Training von Pipelines, das speziell für native multimodale Szenarien entwickelt wurde. Das Projekt ist nun auf GitHub im Dots-Infra-Repository verfügbar.

Im Gegensatz zu Standard-Transformern sind multimodale Modelle von Natur aus komplex. Ein typisches multimodales großes Sprachmodell (MLLM) besteht aus drei unterschiedlichen Komponenten: modalen Encodern, die Bilder und Audio in Einbettungen umwandeln, einem LLM-Backbone für die Inferenz und einem Generator, der die LLM-Ausgaben wieder auf Zielmodalitäten wie Bilder oder Sprache abbildet. Die erheblichen strukturellen Unterschiede zwischen diesen Komponenten führen zu großen Herausforderungen bei der Integration in eine einzige Trainingspipeline.

Aktuelle Branchenlösungen lassen sich im Allgemeinen in zwei Kategorien einteilen. Der erste Ansatz priorisiert die Recheneffizienz, indem Encoder und Generatoren von der LLM-Pipeline entkoppelt und separat ausgeführt werden. Dies verhindert zwar, dass Schwankungen in der Laufzeit der Modalitätsmodule zu „Bubbles“ in der LLM-Pipeline führen, bewirkt jedoch, dass der Aktivierungsspeicher mit der Anzahl der Mikrobatches skaliert, was bei großem Maßstab zu hohen Kosten führt. Der zweite Ansatz konzentriert sich auf Speichereffizienz, indem alle Module in derselben Pipeline verbleiben, was die Lebenszyklen der Aktivierungen verkürzt und den Speicherverbrauch senkt. Ist jedoch ein Encoder oder Generator langsam, kommt die gesamte LLM-Pipeline zum Stillstand, was zu „Tail-Bubbles“ führt. Mit zunehmender Modellgröße zeigen beide Entwürfe kritische Engpässe.

BigMac begegnet dieser Herausforderung mit einem einfachen, aber entscheidenden Prinzip: Die zentrale LLM-Pipeline bleibt im Mittelpunkt. Das Training groß angelegter LLMs stützt sich bereits auf ausgereifte Scheduling-Strategien wie 1F1B oder Interleaved 1F1B, die tief in produktionsreife Trainings-Stacks integriert sind. Anstatt diese etablierten Methoden zu ersetzen, nutzt BigMac den LLM-Zeitplan als zugrunde liegende Zeitachse und fügt Encoder- und Generator-Berechnungen strategisch ein, sobald Eingaben bereitstehen, ohne dabei die Ausführungsreihenfolge des LLM zu stören. Das Team bezeichnet diese Architektur als „quasi-abhängigkeitssichere verschachtelte Pipeline“.

Dieses Design bietet zwei wesentliche Vorteile. Erstens wirken sich Schwankungen in der Laufzeit von Encoder und Generator nicht mehr auf die gesamte LLM-Pipeline aus, sodass das LLM sein optimales Tempo beibehalten kann. Zweitens wird der Speicherbedarf für modale Aktivierungen auf algorithmischer Ebene auf O(1) reduziert. Encoder müssen die Aktivierungen nicht mehr für alle Mikrobatches bis zum Abschluss der Pipeline vorhalten, und Generatoren vermeiden es, lange Aktivierungsschwänze zu verlängern. Im Wesentlichen tauscht BigMac keinen Speicher gegen Leistungsblasen ein; stattdessen strukturiert es die Planungslogik neu, um diese beiden Ziele miteinander vereinbar zu machen, anstatt sie als sich gegenseitig ausschließend zu betrachten.

Die Überbrückung der Kluft zwischen Scheduling-Entwurf und tatsächlicher Ausführung ist mit erheblichen technischen Hürden verbunden, darunter Systemintegration, Schnittstellendefinition und Leistungsdebugging. BigMac wurde entwickelt, um diese spezifischen Herausforderungen durch drei Kernfunktionen zu bewältigen. Erstens macht es den globalen Zeitplan transparent: Der Scheduler generiert zur Laufzeit eine umfassende Operatortabelle, die alle Pipeline-Ränge, Mikrobatches und Modultypen abdeckt. Der Executor verteilt diese anschließend in lokale Sequenzen für jeden Rang und lässt sich nahtlos in LLM-Backends wie Megatron Core, modale Laufzeiten und Kommunikationsschichten integrieren. Diese Transparenz ermöglicht eine einfachere Überprüfung und Backend-Optimierung.

Zweitens bietet BigMac eine Schnittstelle für Pipeline-Parallelität, die für Algorithmusentwickler unsichtbar bleibt. Die Nutzer müssen lediglich definieren, was jedes Modul erzeugt und verbraucht; das System übernimmt intern die Aufteilung in Stufen, die Aktivierung und Übergabe von Gradienten sowie die geräteübergreifende Kommunikation. Dadurch lassen sich multimodale Experimente, die auf einer einzelnen GPU verifiziert wurden, nahtlos auf Pipeline-Parallelität skalieren. Drittens bietet es eine Reihe von Profiling-, Simulations- und Visualisierungstools. Diese Tools schlüsseln die Trainingsiterationen bis auf die Operatorenebene auf, zeigen genau, was jeder Rank in jedem Zeitschritt tut, identifizieren Leerlaufzeiten und heben Abhängigkeitsengpässe hervor. Der Simulator ermöglicht es Teams zudem, verschiedene PP-Konfigurationen und Mikrobatch-Kombinationen zu testen, bevor sie ein Training in vollem Umfang starten, und dabei deren Auswirkungen auf „Bubbles“ und den Durchsatz abzuschätzen.

Die Wirksamkeit von BigMac wurde anhand von zwei repräsentativen Workloads validiert. Bei MLLM-Understanding-Aufgaben, bei denen Qwen3-30B-A3B als Backbone und ein 1,3-Milliarden-ViT-Encoder verwendet wurden, erzielt BigMac eine Beschleunigung von 1,08- bis 1,1-fach im Vergleich zur recheneffizienten Baseline „Optimus“ sowie eine Beschleunigung von 1,6- bis 1,9-fach gegenüber der speichereffizienten Baseline „Megatron-DistTrain“. Entscheidend ist, dass der Speicherverbrauch stabil bleibt, wenn die Batchgröße pro GPU zunimmt, während bei Optimus Spitzen im Speicherbedarf auftreten, die bei größeren Batches schließlich zu „Out-of-Memory“ (OOM)-Fehlern führen. MLLM-Generation-Aufgaben sind komplexer und umfassen einen 20B-MMDiT-Generator, wobei sich der Leistungsunterschied weiter vergrößert: Optimus scheitert bei allen getesteten Batch-Größen aufgrund von OOM, während BigMac dies vermeidet, indem es den Generator effizient rückwärts ausführt und Aktivierungen schnell freigibt. Im Vergleich zu Megatron-DistTrain liefert BigMac immer noch eine 1,5- bis 1,9-fache Beschleunigung bei stabiler Speicherauslastung. Dies unterstreicht den Hauptvorteil verschachtelter Pipelines: Sie bedienen sowohl die Abhängigkeiten des Encoders als auch des Generators, ohne übermäßige Beibehaltung von Aktivierungen oder nennenswerte Leerlaufzeiten.

BigMac ist mittlerweile eine Kernkomponente der Infrastruktur von Dots für das Training multimodaler Modelle und wird in der Produktionsumgebung von Xiaohongshu eingesetzt. Die dazugehörige Veröffentlichung „BigMac: Breaking the Pareto Frontier of Compute and Memory in Multimodal LLM Training“ ist auf arXiv verfügbar, zusammen mit interaktiven PP-Profiler-Trace-Beispielen. Für Forscher und Ingenieure, die mit dem Kompromiss zwischen Speicher und Geschwindigkeit beim multimodalen Training zu kämpfen haben, bietet dieses in der Produktion bewährte Open-Source-Projekt eine praktische Lösung, die erheblich Zeit und Aufwand spart.