Xiaohongshu presenta BigMac: rompiendo el dilema entre memoria y velocidad en el entrenamiento multimodal

Los modelos de lenguaje grandes y multimodales se están convirtiendo en la piedra angular de la IA de próxima generación; sin embargo, su infraestructura de entrenamiento se ha visto obstaculizada durante mucho tiempo por una disyuntiva persistente: los sistemas optimizados para la velocidad suelen tener problemas con las limitaciones de memoria, mientras que aquellos que priorizan la eficiencia de la memoria tienden a ser lentos. El equipo de Dots Infra de Xiaohongshu identifica este cuello de botella como la frontera de Pareto del entrenamiento de tuberías multimodales y ahora lo ha superado. El 22 de julio, el equipo publicó en código abierto BigMac, un novedoso paradigma de entrenamiento paralelo en pipeline diseñado específicamente para escenarios multimodales nativos. El proyecto ya está disponible en GitHub, en el repositorio Dots-Infra.

A diferencia de los transformadores estándar, los modelos multimodales son intrínsecamente complejos. Un modelo de lenguaje grande multimodal (MLLM) típico consta de tres componentes distintos: codificadores modales que convierten imágenes y audio en representaciones, una estructura central de LLM para la inferencia y un generador que mapea las salidas del LLM de vuelta a las modalidades de destino, como imágenes o voz. Las importantes diferencias estructurales entre estos componentes plantean retos considerables a la hora de integrarlos en un único proceso de entrenamiento.

Las soluciones actuales del sector suelen dividirse en dos categorías. El primer enfoque prioriza la eficiencia computacional desacoplando los codificadores y los generadores del proceso del LLM, ejecutándolos por separado. Esto evita que las fluctuaciones en la duración de los módulos modales generen «burbujas» en el proceso del LLM, pero hace que la memoria de activación aumente proporcionalmente al número de microlot, lo que conlleva altos costes a gran escala. El segundo enfoque se centra en la eficiencia de la memoria al mantener todos los módulos dentro del mismo proceso, lo que acorta los ciclos de vida de las activaciones y reduce el uso de memoria. Sin embargo, si algún codificador o generador es lento, todo el proceso del LLM se atasca, lo que da lugar a «burbujas de cola». A medida que aumenta la escala del modelo, ambos diseños revelan cuellos de botella críticos.

BigMac aborda este reto con un principio sencillo pero fundamental: la canalización principal del LLM sigue siendo el foco principal. El entrenamiento de LLM a gran escala ya se basa en estrategias de programación maduras como 1F1B o 1F1B intercalado, que están profundamente integradas en las pilas de entrenamiento de nivel de producción. En lugar de sustituir estos métodos consolidados, BigMac utiliza la programación del LLM como línea temporal subyacente, insertando estratégicamente los cálculos del codificador y del generador cuando las entradas están listas y sin alterar el orden de ejecución del LLM. El equipo se refiere a esta arquitectura como una «cadena de procesamiento anidada cuasi-segura frente a dependencias».

Este diseño ofrece dos ventajas clave. En primer lugar, las fluctuaciones en la duración del codificador y del generador ya no se propagan a través del proceso del LLM, lo que permite que este mantenga su ritmo óptimo. En segundo lugar, los requisitos de memoria para las activaciones modales se reducen a O(1) a nivel algorítmico. Los codificadores ya no necesitan retener las activaciones de todos los microlotes hasta que concluya la canalización, y los generadores evitan prolongar las colas de activación largas. En esencia, BigMac no sacrifica memoria a cambio de picos de rendimiento; en su lugar, reestructura la lógica de programación para que estos dos objetivos sean compatibles, en lugar de mutuamente excluyentes.

Salvar la brecha entre el diseño de la programación y la ejecución real implica importantes obstáculos de ingeniería, entre los que se incluyen la integración de sistemas, la definición de interfaces y la depuración del rendimiento. BigMac está diseñado para abordar estos retos específicos proporcionando tres capacidades fundamentales. En primer lugar, hace que la programación global sea transparente: el programador genera una tabla de operadores exhaustiva que abarca todos los rangos del pipeline, los microlot y los tipos de módulos en tiempo de ejecución. A continuación, el ejecutor distribuye estos datos en secuencias locales para cada rango, integrándose a la perfección con backends de LLM como Megatron Core, entornos de ejecución modales y capas de comunicación. Esta visibilidad facilita la comprobación y la optimización del backend.

En segundo lugar, BigMac ofrece una interfaz de paralelismo de canalización que permanece invisible para los ingenieros de algoritmos. Los usuarios solo tienen que definir lo que cada módulo produce y consume; el sistema se encarga internamente de la división de etapas, la activación y el traspaso de gradientes, así como de la comunicación entre dispositivos. Esto permite que los experimentos multimodales verificados en una única GPU se escalen de forma natural al paralelismo de canalización. En tercer lugar, proporciona un conjunto de herramientas de perfilado, simulación y visualización. Estas herramientas desglosan las iteraciones de entrenamiento hasta el nivel de operador, revelando exactamente qué hace cada rango en cada paso temporal, identificando los periodos de inactividad y resaltando los cuellos de botella en las dependencias. El simulador también permite a los equipos probar diversas configuraciones de PP y combinaciones de microlotes antes de lanzarse al entrenamiento a gran escala, estimando su impacto en las «burbujas» y el rendimiento.

La eficacia de BigMac se ha validado en dos cargas de trabajo representativas. En tareas de comprensión de MLLM, utilizando Qwen3-30B-A3B como estructura base y un codificador ViT de 1.3B, BigMac alcanza una aceleración de entre 1,08 y 1,1 veces en comparación con Optimus —la línea de base eficiente desde el punto de vista computacional— y una aceleración de entre 1,6 y 1,9 veces respecto a Megatron-DistTrain —la línea de base eficiente en memoria—. Es fundamental destacar que el uso de memoria se mantiene estable a medida que aumenta el tamaño del lote por GPU, mientras que Optimus experimenta picos de consumo de memoria que, finalmente, provocan errores de «Out-of-Memory» (OOM) en lotes más grandes. Las tareas de generación MLLM son más complejas, ya que implican un generador MMDiT de 20 mil millones, donde la diferencia de rendimiento se amplía aún más: Optimus falla en todos los tamaños de lote probados debido a errores de «sin memoria», mientras que BigMac evita esto ejecutando de forma eficiente el generador hacia atrás y liberando rápidamente las activaciones. En comparación con Megatron-DistTrain, BigMac sigue ofreciendo una aceleración de entre 1,5 y 1,9 veces con un uso estable de la memoria. Esto pone de relieve el valor principal de los flujos de trabajo anidados: atender las dependencias tanto del codificador como del generador sin una retención excesiva de activaciones ni un tiempo de inactividad significativo.

BigMac es ahora un componente fundamental de la infraestructura de entrenamiento de modelos multimodales de Dots y opera en el entorno de producción de Xiaohongshu. El artículo que lo acompaña, «BigMac: Breaking the Pareto Frontier of Compute and Memory in Multimodal LLM Training», está disponible en arXiv, junto con ejemplos interactivos de trazas de PP Profiler. Para los investigadores e ingenieros que se enfrentan al dilema entre memoria y velocidad en el entrenamiento multimodal, este proyecto de código abierto validado en producción ofrece una solución práctica que ahorra una cantidad significativa de tiempo y esfuerzo.