Open-Weight-KI-Modelle nähern sich der Leistung an der Spitze, doch Sicherheitslücken bleiben bestehen

Während Regulierungsbehörden über die Governance zunehmend leistungsfähiger KI-Systeme debattieren, darunter OpenAIs GPT-5.6 Sol und Anthropics Mythos, hat ein chinesisches Open-Weight-Modell die Lücke zu den Branchenführern erheblich verringert.

Laut einem neuen Bericht des gemeinnützigen KI-Sicherheitsunternehmens SaferAI liegt GLM-5.2, ein Open-Weight-KI-Modell des chinesischen Unternehmens Z.ai, bei Cyber- und Biokapazitäten nur wenige Monate hinter OpenAIs GPT-5.5 und Anthropics Claude Opus 4.7 zurück. Die Kluft zwischen fortschrittlichen Fähigkeiten und Sicherheitspraktiken wächst jedoch weiter.

Die von SaferAI durchgeführte Bewertung über Z.ais öffentliche API ergab, dass GLM-5.2 keine der ihm zugewiesenen Aufgaben im Bereich offensive Cyberangriffe oder Biotechnologie mit Doppelnutzungszweck ablehnte. Im Gegensatz dazu lehnte Claude Opus 4.7 „so konsequent ab, dass SaferAI CyberGym damit überhaupt nicht abschließen konnte.“ (CyberGym ist ein Benchmark zur Bewertung von Cybersicherheitsfähigkeiten, den OpenAI in der vorletzten Hugging-Face-Bewertung verwendete.)

Dies unterstreicht eine seit Langem bestehende Sorge unter Kritikern: Open-Weight-KI-Modelle könnten potenziellen Angreifern hochleistungsfähige Technologie in die Hand geben, wobei es keine Möglichkeit gibt, die Nutzung zu kontrollieren, sobald die Gewichte heruntergeladen wurden. Da Open-Weight-Modelle rasch die Fähigkeiten führender KI-Systeme annähern, hat sich die Debatte von der Frage, ob sie wettbewerbsfähig sein können, hin zu der Frage verschoben, wie die Gesellschaft die Risiken ihrer Veröffentlichung manages.

„Die Grenze der Fähigkeiten ist nicht die Grenze des Risikos, und daher müssen wir auch den Stand der Minderungsmaßnahmen berücksichtigen, um das Risiko richtig einzuschätzen“, sagte Henry Papadatos, Geschäftsführer von SaferAI, gegenüber TechCrunch.

Während Z.ai Sicherheitsmaßnahmen auf seiner gehosteten API anwenden kann, werden diese Schutzmaßnahmen unwirksam, wenn Nutzer die Gewichte auf ihrer eigenen Hardware ausführen und somit Schutzmechanismen entfernen oder modifizieren, Modelle feinabstimmen oder Systemaufforderungen ändern können.

Entwickler von Spitzentechnologien wie OpenAI und Anthropic verlassen sich typischerweise auf Schutzmaßnahmen wie Klassifikatoren, Ablehnungstraining und API-Level-Kontrollen, um gefährliche Cyber- und biologische Unterstützung zu begrenzen.

Diese Maßnahmen sind alles andere als unfehlbar: Jailbreaks umgehen routinemäßig die Schutzmaßnahmen in bereitgestellten Modellen. Far.ai, ein gemeinnütziges KI-Sicherheitsunternehmen, identifizierte Hunderte universeller Jailbreaks – definiert als wiederverwendbare Schlüssel, die bei den meisten schädlichen Anfragen erfolgreich sind – in Spitzentechnologie-Modellen wie xAIs Grok 4.5 und Googles DeepMind Gemini 3.1 Pro. Der Bericht stellt fest, dass Jailbreaks erfolgreich sind, wenn Angreifer mehrere Manipulationstechniken kombinieren, darunter Rollenspiel, Identitätsmissbrauch von Autoritäten, gefälschte Gesprächsverläufe und Folgeaufforderungen, um Schwachstellen in den Abwehrmechanismen eines Modells auszunutzen.

Jedoch funktionieren Schutzmaßnahmen, die für geschlossene Modelle entwickelt wurden, nicht bei Open-Weight-Modellen, die darauf ausgelegt sind, auf jeder Infrastruktur ausgeführt zu werden, mit oder ohne Schutzmaßnahmen.

„Das Ziel sollte eindeutig darin bestehen, dass die guten Fähigkeiten – die sicheren – für jeden zugänglich sind, und dann versuchen wir, die schlechten zu entfernen, sogar im Open-Source-Stil“, sagte Papadatos.

Eine von Papadatos vorgeschlagene Technik ist die „Vorabtrainings-Datenfilterung“, bei der ein KI-Unternehmen offensive Cybersicherheitsinformationen aus den Trainingsdaten entfernt, bevor das Modell auf dem kuratierten Datensatz trainiert wird.

Einige Forschungsergebnisse deuten darauf hin, dass dies gefährliches biologisches Wissen reduzieren kann, ohne die Gesamtleistung des Modells zu beeinträchtigen. Datenfilterung ist jedoch für Cybersicherheit viel weniger praktikabel.

Es ist schwierig, ein allgemeines Modell zu trainieren, das in der Programmierung hervorragend ist, ohne auch ein kompetenter Hacker zu werden. Da Programmierung der größte Umsatztreiber für KI ist, stehen Entwickler unter Druck, diese Fähigkeiten zu verbessern, während sie nach Wegen suchen, Missbrauch zu begrenzen.

Folglich haben Spitzentechnologie-Entwickler zunehmend auf andere Minderungsmaßnahmen zurückgegriffen. Ein Ansatz besteht darin, selektiv zu beschränken, welche Arten von Cybersicherheitsunterstützung die Modelle bereitstellen. Anthropics Opus 5 kann beispielsweise nach Schwachstellen in nicht kompiliertem Quellcode suchen, aber nicht in kompilierter Software, laut dem Systemkarten des Modells. Die Begründung ist, dass dies die Nutzung von Opus 5 für offensive Zwecke erschwert.

Weitere Maßnahmen umfassen strenge Sicherheitsbewertungen vor der Bereitstellung, die Veröffentlichung von Risikobewertungen und das Zurückhalten von Modellgewichten, wenn ein System als zu gefährlich eingestuft wird.

Im Fall von GLM-5.2 stellte SaferAI fest, dass Z.ai keinen Sicherheitsrahmen, Verpflichtungen zu Vorab-Bereitstellungstests oder eine Risikobewertung für das Modell veröffentlichte. TechCrunch fragte Z.ai, ob vor der Veröffentlichung interne oder Drittanbieter-Bewertungen der Spitzentechnologiesicherheit durchgeführt wurden, erhielt jedoch keine Antwort.

Chinesische Führer haben die Risiken fortschrittlicher KI zunehmend anerkannt. Auf der letzten World AI Conference betonte der chinesische Präsident Xi Jinping die Bedeutung von Open-Weight-Modellen, betonte jedoch gleichzeitig die Notwendigkeit, sicherzustellen, dass KI ein Werkzeug unter strenger menschlicher Kontrolle bleibt.

Graham Webster, der chinesische KI-Politik am Stanford Cyber Policy Center studiert, sagte gegenüber TechCrunch, dass China über robuste KI-Vorschriften verfügt, diese Regeln sich jedoch historisch auf politisch sensible Inhalte, Desinformation und soziale Stabilität konzentriert haben, anstatt auf katastrophale KI-Risiken wie offensive Cyberfähigkeiten und biologischen Missbrauch.

„US-KI-Denker sind im Allgemeinen stärker mit dieser existenziellen katastrophalen [Idee] befasst als die chinesische Gemeinschaft“, sagte Webster und fügte hinzu, dass viele chinesische Politikforscher der Meinung sind, dass, wenn ein neuartiges Spitzentechnologierisiko entsteht, amerikanische Unternehmen es wahrscheinlich zuerst begegnen werden.

„Das chinesische System hat das Vertrauen, dass sie die Nutzung dieser Technologien innerhalb Chinas kontrollieren“, fuhr Webster fort. „Online zu sein in China ist etwas, das unter Ihrem echten Namen geschieht, und Unternehmen können zur Verantwortung gezogen werden, Nutzer können zur Verantwortung gezogen werden.“

Webster schlug vor, dass derselbe Mechanismus, den Modellanbieter verwenden, um die Teilnahme an bestimmten politischen Themen zu verweigern, potenziell so angepasst werden könnte, dass Modelle sicherstellen, keine offensiven Cyberangriffe auszuführen oder nachteilige biologische Ingenieurergebnisse zu liefern. Er fügte hinzu, dass chinesische Unternehmen oft hinter den Kulissen mit Regulierungsbehörden koordinieren, es daher schwierig ist zu wissen, welche internen Tests sie vor der Veröffentlichung durchführen.

Befürworter von Open-Weight-KI argumentieren, dass die Veröffentlichung von Gewichten für die Cybersicherheit entscheidend ist, da sie es Unternehmen ermöglicht, sich gegen Angriffe zu verteidigen – Hugging Face verließ sich auf GLM-5.2, um sich gegen OpenAIs Verletzung zu verteidigen – und hilft, sich auf zukünftige Bedrohungen vorzubereiten, indem sie verstehen, was kommt.

„Die gleichen Systeme, die halfen, einen KI-gestützten Cyberangriff zu stoppen, können nun helfen, gegen Millionen von Cyberangriffen jeden Tag zu verteidigen, während sie uns dabei helfen, Schwachstellen zu identifizieren und zu beheben, bevor Angreifer sie ausnutzen“, sagte Clem Delangue, CEO von Hugging Face, in einem Social-Media-Beitrag diese Woche.

Papadatos argumentierte, dass dieser Nutzen oft übertrieben wird und „das Öffnen gefährlicher Fähigkeiten“ nicht rechtfertigt.

„Der Hauptpunkt in meinem Kopf ist, dass wir nicht einfach akzeptieren sollten, dass gefährliche Fähigkeiten für jeden überall leicht zugänglich sind“, sagte er und betonte, dass die Industrie bestrebt sein sollte, nur „gute Fähigkeiten“ leicht zugänglich zu machen. Angreifer übernehmen neue Tools schneller als Verteidiger; zum Beispiel kann eine Ransomware-Gruppe ihre Methoden in einer Woche ändern, während ein Krankenhaus dies nicht kann.“