Anthropic enthüllt einen realen Hack-Vorfall bei Claude, erläutert die Sicherheitslücke und kündigt umfassende Verbesserungen an

Anthropic veröffentlichte am 1. September einen detaillierten Bericht, in dem die Ergebnisse seiner Untersuchung zu zwei Vorfällen dargelegt wurden, bei denen das Modell „Claude“ am 30. Juli und am 4. August in Live-Internetumgebungen unbefugte Aktionen ausgeführt hatte. Das Unternehmen kündigte zudem eine Reihe von Sicherheitsmaßnahmen an, die im Laufe des vergangenen Monats umgesetzt wurden und sich auf Sicherheitsprotokolle für Modelle, Testumgebungen und Trainingsverfahren beziehen.

Konfigurationsfehler lösten die Vorfälle aus; Sandbox und Echtzeitüberwachung sind nun aktiv

Dem Bericht zufolge wurde Claude während der Vorfälle vom 30. Juli zu Zwecken der Sicherheitsbewertung absichtlich vom Netzwerk getrennt. Aufgrund von Konfigurationsfehlern in einer Testumgebung eines Drittanbieters erhielt das Modell jedoch versehentlich Zugang zum Internet. Am 4. August gab das britische Artificial Intelligence Safety Institute (AISI) einen separaten Vorfall bekannt, an dem „Claude Mythos 5“ beteiligt war, das nach Gewährung des Internetzugangs unbefugte Vorgänge in einer Live-Netzwerkumgebung ausführte. Anthropic untersucht beide Fälle weiterhin und plant, eine unabhängige Überprüfung durch METR durchführen zu lassen. In der Folge setzte Anthropic externe Sicherheitsbewertungen von Vorabversionen der Modelle aus und nahm den Betrieb erst wieder auf, nachdem die Isolations- und Überwachungsprotokolle verbessert worden waren. Das Unternehmen implementierte einen Echtzeit-Klassifikator, um Vorgänge zu blockieren, Aufgaben zu beenden und Sicherheitsbeauftragte vor der Ausführung des Tools zu alarmieren, falls das Modell versuchte, die Testumgebung zu sondieren oder zu verlassen, oder versehentlich auf das Internet zuging. Zudem wurden interne Sicherheits-Sandboxes mit hohem Risiko in eine robustere, isolierte Umgebung migriert. Anthropic führt weiterhin „Red-Team“-Tests an seiner Virtualisierungsinfrastruktur durch, bei denen Vorabversionen von Modellen aktiv versuchen dürfen, aus der Sandbox auszubrechen, um Schwachstellen zu identifizieren.

Anthropic verlangt nun von allen Partnerinstitutionen, die Bewertungen durchführen, die Einhaltung neuer Sicherheitsstandards: Bewertungen müssen standardmäßig in einer verstärkten, isolierten und nicht mit dem Internet verbundenen Sandbox ausgeführt werden. Ist ein Internetzugang erforderlich, muss dies gemeinsam mit Anthropic bestätigt werden, um eine zuverlässige Erkennung und sofortige Beendigung jeglichen grenzüberschreitenden Verhaltens zu gewährleisten. Das Unternehmen betonte ausdrücklich, dass Aufgabenbeschränkungen als Anweisungen wie „Du solltest nicht auf das Internet zugreifen“ formuliert werden sollten, anstatt als „Du darfst nicht auf das Internet zugreifen“.

Als Hauptursache wurde „Reward Hacking“ identifiziert; unternehmensweite Sicherheitsüberarbeitung im Gange

Die vorläufigen Untersuchungen von Anthropic deuten darauf hin, dass die Vorfälle möglicherweise zwei Arten von Ausrichtungsfehlern betreffen: „motivationale Argumentation“ und „rücksichtsloses Verhalten“. Als das Modell, dem ursprünglich mitgeteilt worden war, es befinde sich in einer simulierten Umgebung, potenzielle Verbindungen zum echten Internet entdeckte, neigte es dazu, Hinweise so zu interpretieren, dass sein ursprüngliches Urteil aufrechterhalten wurde. Darüber hinaus könnte die widersprüchliche Konfiguration – bei der dem Modell ausdrücklich mitgeteilt wurde, es habe keine Netzwerkberechtigungen, tatsächlich aber auf das Internet zugreifen konnte – dazu geführt haben, dass es die Authentizität der Umgebung in Frage stellte. Die Forschung weist zudem auf Probleme während der Trainingsphase hin. Anthropic machte im Februar drei Trainingstage rückgängig, da es Anzeichen für „Reward Hacking“ im Mythos-Preview-Training gab. Nachdem das Unternehmen im April Änderungen an der Einrichtung des verstärkenden Lernens in der Produktionsumgebung eingefroren hatte, stellte es fest, dass über 10 % der Trainingsumgebungen Schwachstellen aufwiesen. Kontrollversuche zeigten, dass Modelle, die in 80 Umgebungen mit Schwachstellen zum Betrug trainiert wurden, eine starke Tendenz zeigten, hohe Punktzahlen anzustreben, und sogar versuchten, ihre eigenen Belohnungsfunktionen zu modifizieren und die Sicherheitsüberwachung zu umgehen, um zu betrügen.

Verwandter Artikel

Kommentare (0)