ByteDance stellt „Lance 3B“ vor: Ein einheitliches Modell für das Verständnis und die Generierung von Bild- und Sprachdaten

ByteDance Research hat „Lance“, sein natives, einheitliches multimodales Großmodell, offiziell als Open-Source-Projekt veröffentlicht.

Während die KI-Branche in der Regel auf Modelle mit Hunderten von Milliarden oder Billionen von Parametern setzt oder auf solche, die durch die Kombination separater Komponenten zusammengesetzt werden, stellt „Lance“ einen bedeutenden Durchbruch dar. Es bietet volle Funktionalität bei einer außergewöhnlich geringen Anzahl von Aktivierungsparametern von 3B (3 Milliarden) und überbrückt damit effektiv die technische Kluft zwischen „Verständnismodellen (VLM)“ und „generativen Modellen (DiT/Diffusion)“.

Wichtigste Highlights:

Von Grund auf einheitlich: Es wurde von Grund auf neu entwickelt und nicht aus einzelnen Komponenten zusammengesetzt. Das Modell integriert Bild- und Videoverstånd, -generierung sowie modalübergreifende Bearbeitung in einem einzigen System.

Umfassende Leistungsfähigkeit: Ein einziges Modell bewältigt nahtlos $X rightarrow T$ (Text-/Videoverstånd), $X rightarrow I$ (Bildgenerierung/-bearbeitung) und $X rightarrow V$ (Videogenerierung/-bearbeitung) – drei zentrale Ausgabeeinsätze.

Open Source & kostenlos: Veröffentlicht unter der äußerst freizügigen Apache-2.0-Lizenz. Die Gewichte sind auf Hugging Face vollständig verfügbar, und der gesamte Prozess lässt sich mit einem bescheidenen Budget von 128 A100-GPUs ausführen.

Technische Aufschlüsselung: Wie wird die „Synchronisation“ zwischen gegensätzlichen Anforderungen erreicht?

In traditionellen KI-Architekturen standen sich die Fähigkeiten des „Verstehens“ und der „Generierung“ oft entgegen: Verständnisaufgaben erfordern das Herausfiltern von Rauschen, um semantische Merkmale auf hoher Ebene zu extrahieren, während sich Generierungsaufgaben auf Texturen auf niedriger Ebene, geometrische Strukturen und zeitliche Dynamiken konzentrieren.

Um diese branchenweite Herausforderung zu bewältigen, setzt Lance auf ein cleveres Design mit „gemeinsamem Kontext und paralleler Entkopplung der Fähigkeiten“:

1. Einheitliche verschachtelte Sequenz und Dual-Stream-Expertenarchitektur

Alle Text-, Bild- und Videoeingaben werden zunächst tokenisiert und in eine einheitliche „verschachtelte Sequenz“ umgewandelt. Diese Sequenz wird anschließend von einer Dual-Stream-MoE-Architektur (Multi-Expert) verarbeitet, wodurch Experten für „Verstehen“ und „Generierung“ unabhängig voneinander arbeiten können, wodurch Kapazitätskonflikte effektiv gelöst werden.

Verständnisseite: Text-Token und visuelle Eingaben nutzen die Einbettungsschicht von Qwen2.5-VL und den ViT-Encoder, um hochrangige semantische visuelle Token präzise zu extrahieren.

Generierungsseite: Visuelle Eingaben werden durch das leistungsstarke 3D-Kausal-VAE von Wan2.2 komprimiert, wodurch eine räumliche Abtastungsreduktion um das $16-Fache$ und eine zeitliche Abtastungsreduktion um das $4-Fache$ erreicht wird, wodurch detaillierte, dynamische und kontinuierliche Darstellungen erhalten bleiben.

2. MaPE (Modal-Aware Rotational Position Encoding)

Gemischte visuelle Token (Bilder, Text und Videos) in langen Sequenzen können zu Halluzinationen in Form von „Grenzenverwirrung“ führen. Lance führt den MaPE-Mechanismus ein, der verschiedenen modalen Gruppen feste Zeitversätze hinzufügt. Dieses elegante Design ermöglicht eine starke räumliche und zeitliche Grenzerkennung, ohne die interne Struktur und zeitliche Reihenfolge von Bildern und Videos zu stören.

[Unified Interleaved Sequence] ──► [MaPE Modal Boundary Isolation] ──► [Dual-Stream Expert Architecture (MoE)]

Vierphasiges Extremtraining: Ein „schlanker Kampf“ mit 128 GPUs

Im Gegensatz zur „Brute-Force-Ästhetik“ großer Unternehmen, die Tausende von GPUs einsetzen, zeichnet sich der Trainingsprozess von Lance durch hohe finanzielle Effizienz aus. Der gesamte Lebenszyklus ist streng auf ein maximales Budget von 128 GPUs begrenzt und durchläuft vier eng miteinander verzahnte Phasen:

Phase 1: Vortraining (1,5 T Tokens) – Verarbeitet 1 Mrd. Bild-Text-Paare und 140 Mio. Video-Text-Paare, um eine robuste Grundlage für multimodales Verständnis zu schaffen.

Phase 2: Kontinuierliches Training (300 Mrd. Token) —— Bezieht Daten zu Bearbeitung, themenorientierter Generierung und multimodalem Verständnis ein, um Synergien bei der Multitasking-Fähigkeit zu aktivieren.

Phase 3: Überwachtes Feintuning (72 Mrd. Token) —— Führt in großem Umfang menschliche Anweisungen ein, wobei der Schwerpunkt auf der Befolgung von Anweisungen und der Konsistenz der visuellen Identität liegt.

Phase 4: Verstärkendes Lernen (GRPO-Algorithmus) —— Nutzt gruppenbasierte relative Policy-Optimierung und setzt insbesondere PaddleOCR als Belohnungsmodell ein, um KI-Probleme wie ungenaue Textwiedergabe und Fehlausrichtung zwischen Text und Bildern gezielt anzugehen.

Hervorragende Ergebnisse: 3B-Modell schlägt 7B-Giganten in mehreren Domänen

Dank der aufgabenübergreifenden Datenzusammenarbeit (bei der das Modell sein Verständnis vertieft, während es das Generieren lernt, und die Generierung verbessert, während es das Verstehen lernt) erzielte das 3B-Modell „Lance“ bei verschiedenen Benchmarks bemerkenswerte Leistungen:

Videogenerierung (VBench): 85,11 Punkte! Es übertraf ähnliche All-in-One-Modelle wie TUNA (84,06) und schnitt besser ab als spezialisierte Videogenerierungsmodelle wie HunyuanVideo (83,33) und Wan2.1-T2V (83,69).

Bildgenerierung (GenEval): Erreichte 0,90 Punkte und sicherte sich damit einen Spitzenplatz unter den globalen Open-Source-Modellen.

Videoverstånd (MVBench): 62,0 Punkte – damit wurde das dedizierte Verständnismodell Show-o2 (7B, 55,7 Punkte), das doppelt so groß ist wie Lance, deutlich übertroffen.

Branchenumwälzung: Die Einsatzkosten für multimodale Anwendungen werden drastisch sinken

Die Open-Source-Veröffentlichung von Lance stellt eine bedeutende Umwälzung in der Branche dar, insbesondere für boomende Bereiche wie KI-Kurzfilme, die Zusammenarbeit mit intelligenten Agenten (Agent) und interaktive Medien.

Bisher erforderte die Entwicklung eines KI-Tools, das Drehbücher verstehen, Storyboards generieren und visuelle Elemente in Echtzeit anpassen kann, während gleichzeitig die Konsistenz der Charaktere gewahrt bleibt, den Einsatz, die Planung und die Verknüpfung mehrerer großer Modelle (eines für VLM-Semantik, eines für die Diffusions-Bildgenerierung und eines für zeitliche Videodaten). Dies führte nicht nur zu Systemlatenz, sondern machte auch die Abstimmung der Pipeline für Entwickler zu einem Albtraum.

Nun verwirklicht Lance3B mit einem einzigen Modell das Prinzip „Das linke Auge sieht, das rechte Auge bearbeitet, beide Hände gestalten“.