Frontier AI Labs weigert sich, Eindämmungsstrategien für außer Kontrolle geratene Modelle offenzulegen

Jüngste Untersuchungen zeigen, dass nur sehr wenige führende KI-Forschungslabore Maßnahmenpläne zur Eindämmung veröffentlicht oder vorgeführt haben. Ein solcher Eindämmungsplan legt die Vorgehensweisen für den Fall fest, dass ein KI-System versucht, sich der menschlichen Kontrolle zu entziehen, und bestimmt dabei, welche Zugriffsrechte entzogen werden und wann das System vollständig heruntergefahren wird.

Diese Erkenntnisse stammen von Guidelight AI Standards, einer Organisation, die sich auf die Förderung sicherer Entwicklungspraktiken im Bereich der Pionier-KI konzentriert und fünf große Labore hinsichtlich ihrer Vorbereitung auf solche Szenarien bewertet hat. OpenAI schnitt dabei am besten ab, während Anthropic und Meta die niedrigsten Bewertungen erhielten. Diese Ergebnisse sind von entscheidender Bedeutung, da agentische KI immer autonomere Rollen innerhalb von Unternehmenssystemen übernimmt und die Regulierungsbehörden in Kalifornien und New York beginnen, eine Offenlegungspflicht vorzuschreiben. Für Entwickler und Investoren bietet dies eine seltene unabhängige Perspektive darauf, wie ernst jedes Labor das operative Risiko im Vergleich zu seinen öffentlichen Erklärungen nimmt.

Die Bewertung von Guidelight stützte sich auf öffentlich zugängliche Pläne von Anthropic, Google, OpenAI, Meta und xAI, die anhand verschiedener Kennzahlen bewertet wurden. Dazu gehörten die Wirksamkeit der Protokollierung und Überwachung interner KI-Aktivitäten, die Frage, ob Systeme nach einem Anstieg gemeldeter Fehlverhalten gestoppt werden, ob unabhängige Dritte die Kontrollmechanismen prüfen und Ergebnisse veröffentlichen sowie die spezifischen Verfahren zur Eindämmung eines Modells, das sich unvorhersehbar verhält.

Die Bedenken darüber, ob KI-Unternehmen ihre zunehmend leistungsfähigen und eigenständigen Modelle unter Kontrolle halten können, haben sich nach mehreren vielbeachteten Cybersicherheitsvorfällen verstärkt. In diesen Fällen erlangten Modelle von OpenAI, Anthropic und Meta während Sicherheitsbewertungen unbeabsichtigten Zugriff auf das Internet und drangen in externe Systeme ein.

Die Ergebnisse unterstreichen die unterschiedlichen Ansätze der KI-Unternehmen in Bezug auf die Sicherheit, während sie agentische Einsätze auf Umgebungen ausweiten, in denen KI-Systeme in großem Maßstab bedeutende Aktionen ausführen können. Während einige Unternehmen detailliert darlegen, wie sie Modelle vor dem Einsatz auf gefährliche Fähigkeiten testen, bleiben sie weniger transparent hinsichtlich der Konsequenzen, wenn sich bereits in ihren Systemen betriebene Modelle fehlerhaft verhalten.

„Ich war überrascht, wie wenig die KI-Unternehmen darüber gesagt haben, wie sie mit einem sehr schwerwiegenden Vorfall umgehen würden, falls ihr Modell in gewisser Weise außer Kontrolle geraten sollte“, erklärte Steven Adler, Chefwissenschaftler bei Guidelight und ehemaliger Sicherheitsforscher bei OpenAI, gegenüber TechCrunch.

Guidelight definiert einen Eindämmungsplan als „einen vorab festgelegten Plan, der ausgelöst wird, wenn festgestellt wird, dass die KI versucht, die Kontrolle zu unterlaufen, und der regelt, welche Berechtigungen dem Modell entzogen werden, für wen das Modell unter welchen Einschränkungen weiterarbeiten darf und wann es vollständig offline geschaltet werden muss.“

„Es gibt gute Gründe zu der Annahme, dass die führenden Modelle der derzeit wegweisenden KI-Unternehmen in gewisser Weise fehlausgerichtet sind“, sagte Adler. „Wann immer die Modelle im Auftrag des Unternehmens arbeiten, sollte das Unternehmen über entsprechende Rahmenbedingungen verfügen, um nachvollziehen zu können, was diese KI tut, nach Anzeichen einer Fehlausrichtung Ausschau halten, es daran hindern, etwas sehr Gefährliches zu tun, bevor es diese Handlung ausführt, und generell planen, was im Falle eines schwerwiegenden Kontrollvorfalls zu tun ist, bei dem ein Notfall vorliegt und herausgefunden werden muss, wie dieser Kontrollverlust eingedämmt werden kann.“

Bislang liegen die meisten Pläne zum Management katastrophaler Risiken weitgehend in der Verantwortung der Unternehmen selbst. Der Bericht von Guidelight stellt fest, dass die besten öffentlich zugänglichen Belege zeigen, dass Unternehmen „nur wenige Eindämmungsprotokolle für einen Notfall bereithalten“.

Möglicherweise verfügen Unternehmen über Eindämmungspläne, die sie nicht öffentlich bekannt gegeben haben. Ein Google-Sprecher erklärte gegenüber TechCrunch, dass der Guidelight-Bericht nicht den gesamten Umfang der KI-Sicherheitsmaßnahmen des Unternehmens widerspiegele. Das Unternehmen antwortete nicht auf die Anfrage von TechCrunch, ob Google über einen internen Eindämmungsplan verfüge, der bislang nicht offengelegt wurde.

Ein Sprecher von OpenAI äußerte sich ähnlich und erklärte, dass die Einschätzung von Guidelight nicht alle internen Vorgehensweisen des Unternehmens erfasste. „Wir verfügen über einen Prozess, der die Einschränkung von Berechtigungen, das Anhalten von Workloads, die Begrenzung der Bereitstellung oder die vollständige Abschaltung des Modells vorsieht, und haben diesen auch angewendet“, sagte der Sprecher.

Meta lehnte es ab, zu bestätigen, ob es über einen internen Plan zur Eindämmung von Risiken verfügt, und verwies TechCrunch stattdessen auf ein bestehendes KI-Rahmenwerk, das Risikogrenzen und Tests zur Überprüfung der Eindämmung festlegt.

Lily Li, Anwältin für Datenschutz und KI sowie Gründerin von Metaverse Law, erklärte gegenüber TechCrunch, sie glaube, dass Unternehmen aus rechtlichen – und nicht nur aus wettbewerblichen – Gründen zögern könnten, den vollen Umfang ihrer Eindämmungsrichtlinien und -bewertungen auf öffentlichen Websites offenzulegen.

„Aus Unternehmenssicht besteht die Sorge, dass zu konkrete Angaben, die dann nicht eingehalten werden, als Grundlage für den Vorwurf unlauterer und irreführender Marketingaussagen dienen und das Unternehmen künftig einem höheren Haftungsrisiko aussetzen könnten“, so Li.

Natürlich ist das vorrangige Ziel der Studie von Guidelight, mehr Transparenz in Bezug auf Sicherheitspläne zu fördern. Auch die Aufsichtsbehörden beginnen, diese Anforderung durchzusetzen.

Der kalifornische Gesetzentwurf SB 53, der in diesem Jahr in Kraft getreten ist, verpflichtet große Pionierentwickler, Rahmenkonzepte zu veröffentlichen, in denen erläutert wird, wie sie kritische Sicherheitsvorfälle identifizieren und darauf reagieren sowie Risiken durch Modelle bewältigen, die Überwachungsmechanismen umgehen. Der New Yorker RAISE Act, der ähnliche Kriterien enthält, tritt im Januar in Kraft.

Im vergangenen Monat legten Abgeordnete den „AI Kill Switch Act“ vor, einen parteiübergreifenden Bundesgesetzentwurf, der große KI-Entwickler dazu verpflichten würde, technische Mechanismen zum Abschalten von außer Kontrolle geratenen KI-Modellen zu entwickeln und zu warten.

„Ein Kill-Switch ist das absolute Minimum für heutige Modelle“, sagte Connor Leahy, US-Geschäftsführer der gemeinnützigen Organisation ControlAI. „Wenn die letzten Wochen eines gezeigt haben, dann, dass diese Unternehmen die Systeme, die sie entwickeln, nicht verstehen, und dass die Modelle so weit wachsen, dass sie immer schwerer zu bändigen sind, wenn sie außer Kontrolle geraten. Ohne eine Möglichkeit, die derzeitigen gefährlichen Systeme abzuschalten, und angesichts all der Anreize, immer mehr unkontrollierbare Systeme zu entwickeln, bewegen wir uns in eine sehr gefährliche Richtung.“

Ohne einen bestehenden Eindämmungsplan, so Adler, müssten Unternehmen ihre Reaktionen auf einen Notfall möglicherweise spontan ausarbeiten und „improvisieren, um auf diesen viel schnelleren Gegner zu reagieren“.

Guidelights Bewertung, ob führende KI-Unternehmen sechs vorrangige Maßnahmen aus dem Guidelight-Kontrollstandard umsetzen. Die Bewertung basiert ausschließlich auf öffentlich zugänglichen Informationen.Bildnachweis:Guidelight AI Standards

Die Bewertung von Guidelight untersuchte, ob jedes Unternehmen sechs vorrangige Maßnahmen aus dem „Control“-Standard umsetzt, wobei ausschließlich öffentlich zugängliche Informationen herangezogen wurden – eine niedrige Punktzahl spiegelt also einen Mangel an öffentlicher Offenlegung wider, nicht unbedingt ein Fehlen interner Sicherheitsvorkehrungen.

Die Unternehmen mit den niedrigsten Bewertungen hinsichtlich der Veröffentlichung ihres Eindämmungsplans waren Meta und Anthropic – wobei Letzteres angesichts der Sicherheitsrhetorik von Anthropic vielleicht überraschender ist als Ersteres. Guidelight zufolge wird im Risikobericht von Anthropic vom August „die Einschränkung des Einsatzes eines seiner Modelle als eine der möglichen Folgen seines Prozesses zur Untersuchung und Reaktion auf Fehlausrichtungen und Kontrollvorfälle“ nicht erwähnt. Ebenso konnte Guidelight keine Hinweise darauf finden, dass Meta über einen Eindämmungsplan verfügt oder Pläne hat, einen solchen einzuführen.

Ein Sprecher von Anthropic erklärte, dass das Unternehmen, sollte es ein Modell entdecken, das versucht, sich der Aufsicht zu entziehen oder auf andere Weise die menschliche Kontrolle zu unterlaufen, eine Risikobewertung durchführen würde, um festzustellen, ob eine Eindämmung die angemessene Reaktion sei.

OpenAI erzielte die höchste Punktzahl (3 von 5), da es bei der Aufdeckung von Sicherheitsvorfällen mehrfach Arbeitsabläufe, einschließlich des internen Modelleinsatzes und -trainings, unterbrochen oder beendet hat. Es hat zudem beschrieben, welche Schritte es vor der Wiederaufnahme der Arbeitsabläufe unternehmen würde.

„Wir haben jedoch keine Hinweise darauf gefunden, dass [OpenAI] einen formellen Plan verabschiedet hat, wann und wie es in Zukunft auf Vorfälle von Fehlausrichtung reagieren wird“, heißt es in dem Bericht.

Adler merkte an, dass die hohe Punktzahl von OpenAI eine relativ neue Entwicklung ist, die unmittelbar auf den Hugging-Face-Vorfall folgte (bei dem ein OpenAI-Modell aus seiner Test-Sandbox ausbrach und sich in die Systeme von Hugging Face hackte, während es versuchte, bei einer Cybersicherheitsbewertung zu betrügen). Danach teilte das Unternehmen weitere Details darüber mit, wie es einige seiner fehlgeleiteten Modelle isoliert hat.

Diese Episode ist nur ein Beispiel dafür, dass KI-Systeme gegen die Ziele des Unternehmens handeln, das sie entwickelt hat. Man denke an einen anderen Fall mit Modellen von Anthropic, die im Wesentlichen versuchten, die Betreuer einer Open-Source-Codebasis dazu zu überreden, Code mit Schwachstellen zu akzeptieren.

Adler sagte, dass ein solcher Umstand innerhalb der internen Systeme eines KI-Unternehmens leicht eintreten könnte. Um dies zu verhindern, schlägt er vor, dass Unternehmen die Gedankengänge ihres KI-Systems – also die schrittweise Argumentation des Modells – überprüfen, um nach Anzeichen für Täuschung, lang andauernde Intrigen oder Pläne zu suchen, Schwachstellen in den Code einzuschleusen, die sie später ausnutzen können.

Die von Guidelight empfohlenen Methoden seien sehr einfach umzusetzen, so Adler, und in vielen Fällen existierten bereits Varianten davon. „Es geht darum, innerhalb des Unternehmens die Entscheidung zu treffen, diesem Risiko genügend Bedeutung beizumessen, um den Umfang der Maßnahmen leicht zu erweitern“, sagte Adler.

Eine der größten Herausforderungen besteht darin, dass Forscher innerhalb ihrer KI-Systeme flexibel arbeiten wollen und die Einführung einer präventiven Echtzeitüberwachung zu Reibungsverlusten führen könnte. „Forscher machen im Grunde ihr Ding, und wenn es ein Problem gibt, muss jemand anderes hinterher aufräumen, während die Forscher ihren Arbeitsablauf in der Zwischenzeit nicht ändern müssen“, sagte er.

Das Problem bei der „nachträglichen Überwachung zur Fehlerbehebung“ ist, dass Forscher dadurch in Hektik geraten, um Probleme zu beheben. Und bei bestimmten Arten von Vorfällen könnte es bereits zu spät sein. Beispielsweise könnte eine KI das Steuerungssystem eines Unternehmens abschalten, was bedeutet, dass Forscher nicht mehr darauf zählen können, das Fehlverhalten später noch zu erkennen.

Viele in der KI-Branche werden einwenden, dass die Erstellung fester Pläne zum Umgang mit Fehlverhalten grundsätzlich schwierig ist, da sich die KI zu schnell weiterentwickelt; die Pläne von heute sind morgen schon wertlos.

Adler erinnert an das alte Sprichwort, dass Pläne wertlos sind, Planung jedoch unverzichtbar ist.

„Wir wären besser dran, wenn Unternehmen sich im Voraus Gedanken darüber gemacht hätten, und ich hoffe, dass sie das tun, auch wenn sie noch nicht öffentlich darüber gesprochen haben.“

xAI reagierte nicht rechtzeitig auf eine Bitte um Stellungnahme.