Tencent Hunyuan und seine Partner stellen den MMAE-Benchmark vor – dabei zeigt sich, dass die Genauigkeit bei der KI-gestützten Audiodbearbeitung unter 5 % liegt.

Künstliche Intelligenz hat bei der Erstellung von Audiodaten erhebliche Fortschritte gemacht, doch das Bearbeiten bereits vorhandener Audiodateien bleibt weiterhin eine große Herausforderung. Kürzlich hat Tencent Hy in Zusammenarbeit mit führenden Forschungseinrichtungen wie der Shanghai Jiao Tong University (SJTU), der Nanyang Technological University (NTU), der Tianjin University (TJU), der Peking University (PKU) sowie der Fudan University (FDU) den MMAE (Massive Multitask Audio Editing Benchmark) eingeführt – den ersten großangelegten, mehrzweckigen Vergleichsstandard für das auf Anweisungen basierende Bearbeiten von Audiodaten. Mit dieser Entwicklung wird ein systematisches Bewertungskriterium für den Bereich der KI-gestützten Audibearbeitung geschaffen, das deutliche Lücken in der Fähigkeit der aktuellen Technologien zur präzisen Anpassung aufzeigt.

Von „Erstellung“ zu „Bearbeitung“: Die eigentliche Herausforderung für KI-gestützte Audiodaten

Herkömmliche KI-Systeme für Audiodaten konzentrieren sich darauf, aus Text oder Anweisungen neue Inhalte zu erzeugen. Im Zentrum des MMAE-Benchmarks steht jedoch die Fähigkeit der Modelle, bestehende Audiodateien zu verstehen und auf Grundlage natürlicher Sprachanweisungen präzise Änderungen vorzunehmen: Nur die Teile, die geändert werden sollen, müssen modifiziert werden, während alles andere unberührt bleibt. Dieser Ansatz des „Bearbeitens statt Rekonstruktionierens“ erfordert eine höhere Audiotreue, besseres Befolgen von Anweisungen sowie ein tieferes Verständnis des Kontexts – wodurch er besser mit praktischen Anwendungen wie der Postproduktion von Podcasts, dem Musikmischen und der Stimmanpassung übereinstimmt.

Tests zeigen, dass aktuelle Mainstream-Modelle eine Gesamtreichweite der Exact Match Rate (EMR) unter 5 % erreichen, was erhebliche Mängel in der Zuverlässigkeit der Audibearbeitungstechnologien verdeutlicht. Das bedeutet, dass KI-Systeme bei praktischen Bearbeitungsaufgaben dazu neigen, übermäßig zu modifizieren, Anweisungen zu übersehen oder die ursprüngliche Audioqualität zu verschlechtern.

Hauptmerkmale des MMAE-Benchmarks: Mehrdimensionale Bewertung für reale Anwendungsszenarien

Der MMAE-Benchmark wurde gründlich und streng konzipiert und weist folgende Schlüsselelemente auf:

2.000 hochauflösende Beispiele: Alle stammen aus realen Anwendungsszenarien, wodurch eine praktische und vielfältige Bewertung gewährleistet wird.17.741 detaillierte Bewertungskriterien: Sie liefern ein umfassendes Bewertungsschema für eine objektive Quantifizierung.7 verschiedene Modalitäten: Sie umfassen Ton, Musik, Sprache sowie deren Kombinationen und ermöglichen Tests in komplexen Audiomilieus.6 Ebenen der Aufgabenschwierigkeit: Von einfachen Anpassungen über mehrstufiges Denken bis hin zu mehrfachigen Bearbeitungsschritten – so lässt sich die Leistungsfähigkeit der Modelle umfassend bewerten.8 Arten von Operationen: Sie unterstützen Bearbeitungsaufgaben auf unterschiedlicher Granularität, sowohl lokal als auch global, und stellen die feine Kontrolle der Modelle auf die Probe.

AIbase-Kommentar: MMAE ist nicht nur ein technisches Bewertungstool – er stellt einen Meilenstein dar, der KI-gestützte Audialgorithmen von „erstellenden“ zu „bearbeitbaren“ Systemen weiterentwickelt. Er bietet Forschern und Entwicklern einen einheitlichen Standard und wird voraussichtlich die Entwicklung der nächsten Generation an Audibearbeitungsmodellen beschleunigen.

Zukunftsausblick: Audibearbeitung könnte zu einer Kernstärke von KI-multimodalen Systemen werden

Da multimodale Großmodelle rasant weiterentwickelt werden, wird eine präzise Audibearbeitung eine entscheidende Rolle bei der Inhaltsproduktion, in der Filmpostproduktion sowie bei Hilfsmitteln für Menschen mit Behinderungen spielen. Die jüngste Zusammenarbeit zwischen Tencent Hy und anderen Institutionen unterstreicht Chinas führende Position in der Forschung zu KI-gestützten Audialgorithmen. Die Branche erwartet weitere Open-Source-Ressourcen sowie nachfolgende Modelle, die gemeinsam diese technologischen Lücken schließen sollen.