ByteDance apresenta o Lance 3B: um modelo unificado para compreensão e geração visual e linguística

A ByteDance Research tornou oficialmente o Lance, seu grande modelo multimodal unificado nativo, de código aberto.

Embora o setor de IA normalmente dependa de modelos com centenas de bilhões ou trilhões de parâmetros, ou daqueles montados pela combinação de componentes separados, o Lance representa um grande avanço. Ele oferece funcionalidade completa com uma contagem excepcionalmente leve de parâmetros de ativação de 3 bilhões, preenchendo efetivamente a lacuna técnica entre “modelos de compreensão (VLM)” e “modelos generativos (DiT/Diffusion)”.

Principais destaques:

Unificado de forma nativa: Construído do zero, em vez de ser uma combinação de partes, ele integra a compreensão de imagens e vídeos, a geração e a edição multimodal em um único sistema.

Desempenho abrangente: um único modelo lida perfeitamente com $X rightarrow T$ (compreensão de texto/vídeo), $X rightarrow I$ (geração/edição de imagem) e $X rightarrow V$ (geração/edição de vídeo) — três tarefas principais de saída.

Código aberto e gratuito: Lançado sob a licença Apache 2.0, altamente permissiva. Os pesos estão totalmente disponíveis no Hugging Face, e todo o processo pode ser executado com um orçamento modesto de 128 GPUs A100.

Análise técnica: como ele consegue a “sincronização” entre demandas contrastantes?

Em arquiteturas tradicionais de IA, as capacidades de “compreensão” e “geração” costumam estar em conflito: as tarefas de compreensão exigem a filtragem de ruído para extrair características semânticas de alto nível, enquanto as tarefas de geração se concentram em texturas de baixo nível, estruturas geométricas e dinâmicas temporais.

Para enfrentar esse desafio em toda a indústria, o Lance emprega um design inteligente de “contexto compartilhado + desacoplamento paralelo de capacidades”:

1. Sequência entrelaçada unificada e arquitetura de especialistas de fluxo duplo

Todas as entradas de texto, imagem e vídeo são primeiro tokenizadas e convertidas em uma “sequência intercalada” unificada. Essa sequência é então processada por uma arquitetura MoE (Multi-Expert) de fluxo duplo, permitindo que especialistas dedicados à “compreensão” e à “geração” operem de forma independente, resolvendo efetivamente os conflitos de capacidade.

Lado da compreensão: os tokens de texto e as entradas visuais utilizam a camada de embedding do Qwen2.5-VL e o codificador ViT para extrair com precisão tokens visuais semânticos de alto nível.

Lado da geração: as entradas visuais são compactadas pelo poderoso VAE causal 3D do Wan2.2, alcançando uma redução de amostragem espacial de $16 vezes$ e uma redução de amostragem temporal de $4 vezes$, preservando assim representações contínuas, dinâmicas e detalhadas.

2. MaPE (Codificação de Posição Rotacional Sensível ao Modo)

Tokens visuais mistos (imagens, texto e vídeos) em sequências longas podem levar a alucinações do tipo “confusão de limites”. O Lance introduz o mecanismo MaPE, que adiciona deslocamentos temporais fixos a diferentes grupos modais. Esse design elegante permite uma forte identificação de limites espaciais e temporais sem perturbar a estrutura interna e a ordem temporal das imagens e dos vídeos.

[Unified Interleaved Sequence] ──► [MaPE Modal Boundary Isolation] ──► [Dual-Stream Expert Architecture (MoE)]

Treinamento extremo em quatro fases: uma “batalha enxuta” com 128 GPUs

Em contraste com a “estética da força bruta” das grandes empresas que utilizam milhares de GPUs, o processo de treinamento da Lance demonstra alta eficiência financeira. Todo o ciclo de vida é estritamente limitado a um orçamento máximo de 128 GPUs, avançando por quatro fases estreitamente integradas:

Fase 1: Pré-treinamento (1,5 T de tokens) —— Processa 1 bilhão de pares imagem-texto e 140 milhões de pares vídeo-texto para estabelecer uma base robusta para a compreensão multimodal.

Fase 2: Treinamento contínuo (300 bilhões de tokens) —— Incorpora dados de edição, geração orientada por tema e compreensão multimodal para ativar a sinergia multitarefa.

Fase 3: Ajuste fino supervisionado (72 bilhões de tokens) —— Injeta extensivamente instruções humanas, com foco no cumprimento de instruções e na consistência da identidade visual.

Fase 4: Aprendizado por reforço (algoritmo GRPO) —— Utiliza otimização de políticas relativas baseada em grupos e, notavelmente, emprega o PaddleOCR como modelo de recompensa para abordar especificamente problemas de IA, como renderização imprecisa de texto e desalinhamento entre texto e imagens.

Resultados notáveis: o modelo de 3 bilhões de tokens supera gigantes de 7 bilhões de tokens em vários domínios

Graças à colaboração de dados entre tarefas (em que o modelo aprofunda a compreensão enquanto aprende a gerar e aprimora a geração enquanto aprende a compreender), o Lance, com 3 bilhões de parâmetros, alcançou um desempenho notável em vários benchmarks:

Geração de vídeo (VBench): obteve 85,11 pontos! Ele superou modelos “tudo em um” semelhantes, como o TUNA (84,06), e apresentou desempenho superior a modelos especializados em geração de vídeo, como o HunyuanVideo (83,33) e o Wan2.1-T2V (83,69).

Geração de imagens (GenEval): Obteve 0,90, garantindo firmemente uma posição de destaque entre os modelos de código aberto globais.

Compreensão de vídeo (MVBench): Obteve 62,0 pontos, superando significativamente o modelo dedicado à compreensão Show-o2 (7B, 55,7 pontos), que tem o dobro do tamanho do Lance.

Impacto no setor: os custos de implantação para aplicações multimodais cairão drasticamente

O código aberto do Lance representa uma grande revolução no setor, especialmente para áreas em franca expansão, como curtas-metragens de IA, colaboração entre agentes inteligentes (Agent) e mídia interativa.

Anteriormente, o desenvolvimento de uma ferramenta de IA capaz de compreender roteiros, gerar storyboards e modificar elementos visuais em tempo real, mantendo a consistência dos personagens, exigia a implantação, o agendamento e a integração de vários modelos de grande porte (um para a semântica VLM, outro para a geração de imagens por difusão e outro para vídeo temporal). Isso não só causava latência no sistema, como também tornava o alinhamento do pipeline um pesadelo para os desenvolvedores.

Agora, o Lance3B alcança o conceito de “o olho esquerdo vê, o olho direito edita, ambas as mãos criam” com um único modelo