Heim
ByteDance veröffentlicht das Bernini-Framework für die einheitliche Videogenerierung und -bearbeitung als Open Source
Das Team für Kommerzialisierungstechnologie bei ByteDance hat offiziell ein Open-Source-Framework zur Videogenerierung und -bearbeitung namens Bernini veröffentlicht. Im Kern basiert das Framework auf einem kollaborativen Mechanismus nach dem Prinzip „zuerst verstehen, dann generieren“, der darauf ausgelegt ist, gängige Herausforderungen der Branche wie Bildinstabilität und Bildflackern zu bewältigen, die dadurch entstehen, dass herkömmliche Modelle komplexe Anweisungen nicht genau interpretieren können.
In internen Evaluierungen bei ByteDance hat Bernini erstklassige Ergebnisse erzielt. Sein Inferenzcode und das Modell der zweiten Stufe, Bernini-R, sind nun öffentlich verfügbar, wobei die Vollversion in naher Zukunft vollständig als Open-Source-Software veröffentlicht werden soll.

Entkopplung von Semantik und Rendering
Der Workflow von Bernini führt eine neuartige Trennung zwischen „semantischer Planung“ und „visueller Darstellung“ ein. Der Prozess beginnt mit einem multimodalen, groß angelegten Modellplaner, der das Eingabematerial gründlich analysiert, um eine „semantische Skizze“ zu erstellen, die dann vom Renderer in stabile, kohärente Videobilder übersetzt wird.
Diese klare Aufgabenteilung macht das Framework besonders nützlich für kontrollierbare Bearbeitungen. Nutzer können Szenenattribute wie Wetter, Jahreszeit oder visuellen Stil durch einfache Befehle anpassen und erhalten zudem präzise Kontrolle über Kamerawinkel, Fokus und Bewegungen der Motive.
Umfangreiche visuelle Referenzfunktionen
Über die traditionelle textbasierte Steuerung hinaus unterstützt Bernini die Verwendung von Bildern und Videos als visuelle Referenzen, was die kreative Konsistenz erheblich verbessert. Bei der Videobearbeitung kann es bestimmte Materialien oder Plakate präzise in Zielbereiche platzieren, ohne dass dabei Ränder oder perspektivische Verzerrungen entstehen.
Zur Erzeugung neuer Videos verarbeitet das Modell Referenzeingaben aus Einzelbildern und mehreren Blickwinkeln und kann Keyframes zu kontinuierlichen Sequenzen weiterentwickeln. Um Verwirrung beim Verbinden mehrerer visueller Segmente zu vermeiden, führte das Team einen speziellen Positionskodierungsmechanismus ein, der Referenzmaterialien klar von Ausgabezielen unterscheidet.
Projektseite: https://bernini-ai.github.io/
Verwandter Artikel
Suno fügt Wasserzeichen in Songs ein, während Rechtsstreitigkeiten andauern
Suno, die Plattform, die es Nutzern ermöglicht, KI-generierte Musik zu erstellen, hat neue Funktionen vorgestellt, um plattformproduzierte Tracks zu kennzeichnen, Downloads einzuschränken und die Community-Richtlinien zu aktualisieren, um unbefugte K
Musk räumt ein, dass Grok-Build Benutzercode geleakt hat, verspricht aber, alle historischen Daten zu löschen
Elon Musk wandte sich direkt an die Datenschutzkontroverse um Grok Build, beginnend mit einem einfachen „True“, um die Gültigkeit des Vorfalls zu bestätigen. Er versprach, dass alle zuvor bei SpaceXAI hochgeladenen Benutzerdaten unwiderruflich gelösc
U.S.-Aktien erreichen historischen Meilenstein, während KI- und Luft- und Raumfahrtriesen auf ihr Debüt als Billionen-Dollar-Unternehmen vorbereiten
Elon Musk, Sam Altman und Dario Amodei, drei Giganten des Technologiesektors, schreiten den Börsengängen ihrer jeweiligen Unternehmen voran. Mit SpaceX, OpenAI und Anthropic – drei Branchenriesen, die einer Bewertung von einer Billion US-Dollar nahek
Empfehlungen zu verwandten Spezialthemen
Kommentare (0)
Das Team für Kommerzialisierungstechnologie bei ByteDance hat offiziell ein Open-Source-Framework zur Videogenerierung und -bearbeitung namens Bernini veröffentlicht. Im Kern basiert das Framework auf einem kollaborativen Mechanismus nach dem Prinzip „zuerst verstehen, dann generieren“, der darauf ausgelegt ist, gängige Herausforderungen der Branche wie Bildinstabilität und Bildflackern zu bewältigen, die dadurch entstehen, dass herkömmliche Modelle komplexe Anweisungen nicht genau interpretieren können.
In internen Evaluierungen bei ByteDance hat Bernini erstklassige Ergebnisse erzielt. Sein Inferenzcode und das Modell der zweiten Stufe, Bernini-R, sind nun öffentlich verfügbar, wobei die Vollversion in naher Zukunft vollständig als Open-Source-Software veröffentlicht werden soll.

Entkopplung von Semantik und Rendering
Der Workflow von Bernini führt eine neuartige Trennung zwischen „semantischer Planung“ und „visueller Darstellung“ ein. Der Prozess beginnt mit einem multimodalen, groß angelegten Modellplaner, der das Eingabematerial gründlich analysiert, um eine „semantische Skizze“ zu erstellen, die dann vom Renderer in stabile, kohärente Videobilder übersetzt wird.
Diese klare Aufgabenteilung macht das Framework besonders nützlich für kontrollierbare Bearbeitungen. Nutzer können Szenenattribute wie Wetter, Jahreszeit oder visuellen Stil durch einfache Befehle anpassen und erhalten zudem präzise Kontrolle über Kamerawinkel, Fokus und Bewegungen der Motive.
Umfangreiche visuelle Referenzfunktionen
Über die traditionelle textbasierte Steuerung hinaus unterstützt Bernini die Verwendung von Bildern und Videos als visuelle Referenzen, was die kreative Konsistenz erheblich verbessert. Bei der Videobearbeitung kann es bestimmte Materialien oder Plakate präzise in Zielbereiche platzieren, ohne dass dabei Ränder oder perspektivische Verzerrungen entstehen.
Zur Erzeugung neuer Videos verarbeitet das Modell Referenzeingaben aus Einzelbildern und mehreren Blickwinkeln und kann Keyframes zu kontinuierlichen Sequenzen weiterentwickeln. Um Verwirrung beim Verbinden mehrerer visueller Segmente zu vermeiden, führte das Team einen speziellen Positionskodierungsmechanismus ein, der Referenzmaterialien klar von Ausgabezielen unterscheidet.
Projektseite: https://bernini-ai.github.io/
Suno fügt Wasserzeichen in Songs ein, während Rechtsstreitigkeiten andauern
Suno, die Plattform, die es Nutzern ermöglicht, KI-generierte Musik zu erstellen, hat neue Funktionen vorgestellt, um plattformproduzierte Tracks zu kennzeichnen, Downloads einzuschränken und die Community-Richtlinien zu aktualisieren, um unbefugte K
Musk räumt ein, dass Grok-Build Benutzercode geleakt hat, verspricht aber, alle historischen Daten zu löschen
Elon Musk wandte sich direkt an die Datenschutzkontroverse um Grok Build, beginnend mit einem einfachen „True“, um die Gültigkeit des Vorfalls zu bestätigen. Er versprach, dass alle zuvor bei SpaceXAI hochgeladenen Benutzerdaten unwiderruflich gelösc
U.S.-Aktien erreichen historischen Meilenstein, während KI- und Luft- und Raumfahrtriesen auf ihr Debüt als Billionen-Dollar-Unternehmen vorbereiten
Elon Musk, Sam Altman und Dario Amodei, drei Giganten des Technologiesektors, schreiten den Börsengängen ihrer jeweiligen Unternehmen voran. Mit SpaceX, OpenAI und Anthropic – drei Branchenriesen, die einer Bewertung von einer Billion US-Dollar nahek











