KI-Sicherheitsrichtlinien behindern offensive Cybersicherheitsforscher

Seit Monaten haben KI-Leitunternehmen strenge Überprüfungsprotokolle und Sicherheitsvorkehrungen implementiert, um zu verhindern, dass böswillige Akteure ihre Modelle ausnutzen. Diese Einschränkungen behindern jedoch nun legitime Netzverteidiger und offensive Cybersicherheitsforscher.

Im Juni verhängte die US-Regierung Exportkontrollen für Anthropics hocherwartete KI-Modelle Mythos und Fable. Diese Entscheidung wurde teilweise durch Berichte motiviert, die darauf hindeuteten, dass die Schutzmechanismen der Modelle gegen die Erleichterung von Cyberangriffen umgangen werden könnten.

Unabhängig davon, ob der Vorfall tatsächlich durch Bedenken bezüglich Jailbreaks ausgelöst wurde, hat sich Anthropic konsequent als Mythos als leistungsfähiges Cybertool positioniert, das nur streng geprüften Nutzern unter strengen Auflagen zugänglich ist. (Hinweis: Die Exportkontrollen für Fable 5 und Mythos 5 wurden inzwischen aufgehoben. Fable 5 ist seit dem 1. Juli wieder allgemein verfügbar, während Mythos 5 im Rahmen des Regierungsüberprüfungsverfahrens ausschließlich geprüften US-Organisationen wieder zur Verfügung gestellt wurde.)

Dieser Gatekeeping-Ansatz ist nicht auf Mythos beschränkt. Sowohl Anthropic als auch OpenAI bieten Cybersicherheitsforschern Programme zur Beantragung geprüften Zugriffs an, die ihnen im Falle einer Genehmigung Modelle mit weniger Cybersicherheitseinschränkungen gewähren: OpenAIs „Trusted Access for Cyber“ und Anthropics „Cyber Verification Program“.

Diese Schutzmechaniken sind auf breite Kritik gestoßen, insbesondere von Forschern, die damit beauftragt sind, unbekannte Systemanfälligkeiten zu identifizieren und Exploits zu entwickeln, bevor Kriminelle dies tun können.

Während eines kürzlichen Auftritts in einem Cybersicherheits-Podcast erklärte der renommierte Sicherheitsforscher Mark Dowd: „Es ist für mich nicht wirklich komfortabel, dass diese zufälligen großen Unternehmen willkürliche Entscheidungen darüber treffen, was in der Sicherheit sicher ist und was nicht.“

Dowd hat Jahrzehnte damit verbracht, „Zero Days“ – zuvor unbekannte Softwarefehler und deren Exploits – zu entdecken und an westliche Regierungen zu verkaufen, anstatt sie Softwareherstellern zur Behebung zu melden. Regierungen zahlen einen Aufpreis für diese Anfälligkeiten, da sie unentdeckt bleiben, was für Geheimdienstoperationen wertvoll ist.

Dowd räumte ein, dass seine Arbeit Bias einführen könnte, aber er ist nicht allein. Mehrere Fachleute im Bereich der offensiven Cybersicherheit, die proaktiv Systeme auf Schwachstellen untersuchen, beschrieben gegenüber TechCrunch, wie sie KI-Tools nutzen und mit deren Schutzmechaniken umgehen.

Chris Anley, Chief Scientist des Sicherheitsberatungsriesen NCC Group, erklärte, dass die Anfrage an ein KI-Modell, einen Bug auszunutzen, ein entscheidender Schritt bei der Bestätigung ist, dass es sich um eine echte, behenswerte Anfälligkeit handelt. Wenn ein Schutzmechanismus jedoch dazu führt, dass das Modell die Anfrage vollständig verweigert, behindere es die Verteidiger, bemerkte er.

„Hier kommt der gesamte Teil zwischen Offensiv- versus Defensivansatz und Schutzmechaniken ins Spiel, denn ‚Behebe diesen Code‘ als Prompt ist sowohl ein wesentlicher Mechanismus für die Verteidigung als auch eine Roadmap zur Suche nach kritischen Anfälligkeiten im Code-Basis“, sagte Anley. „Das gleiche Tool ist also gleichzeitig ein Offensiv- und ein Defensivtool, und die beiden lassen sich kaum trennen.“

Es sei „wie ein Hammer“, fuhr er fort. „Man kann kein Haus ohne einen Hammer bauen. Es ist definitiv ein Werkzeug, aber es ist auch unbestreitbar eine Waffe.“

Wenn sie auf solche Hindernisse stoßen, greifen er und seine Kollegen manchmal auf Open-Source-KI-Modelle zurück, die über keinerlei Schutzmechaniken verfügen.

Paolo Stagno, Chief Technology Officer bei CrowdFense, einem prominenten Unternehmen, das unbekannte Anfälligkeiten entwickelt, erwirbt und an Regierungsbehörden verkauft, stimmte Dowd zu und erklärte, dass KI-Unternehmen ihre Kunden durch ihre geprüften Programme und Schutzmechaniken „im Wesentlichen wie Kinder behandeln, die beaufsichtigt werden müssen“.

Stagno erwähnte, dass er und sein Team Frontier-Modelle für Reverse Engineering verwenden, aber vermeiden, KI zur Suche nach Anfälligkeiten oder zum Erstellen von Exploits einzusetzen. Die Eingabe solcher Arbeiten in cloudbasierte Modelle birgt das Risiko, sensible Daten über Anfälligkeiten preiszugeben oder sie in zukünftige Trainingsläufe aufnehmen zu lassen. Für diese Aufgaben nutzt er lokal ausgeführte Open-Source-Modelle, um eine externe Weitergabe von Daten zu vermeiden.

Giuseppe Cali, ein Sicherheitsforscher, der Zero-Tage-Anfälligkeiten entdeckt und Exploits entwickelt, erklärte, dass Schutzmechaniken seine Arbeit nicht behindern. Dies liegt daran, dass er KI nicht für offensive Zwecke nutzt; stattdessen verwendet er sie für das initiale Reverse Engineering, um den analysierten Code zu verstehen und unterstützende Tools zu erstellen. Er bemerkte, dass KI-Tools diesen Prozess beschleunigen und es ihm ermöglichen, sich auf die Entdeckung von Anfälligkeiten zu konzentrieren.

„Ich möchte die eigentliche Entdeckung von Bugs und deren Weaponization weiterhin selbst übernehmen, und das würde sich auch nicht ändern, wenn morgen alle Schutzmechaniken aufgehoben würden“, sagte Cali. „Ich bin eifersüchtig auf meine Bugs und mag dieses Spiel zu sehr, um es Modelle für mich spielen zu lassen.“

Ein Forscher bei einem Hersteller von Smartphone-Komponenten, der unter der Bedingung der Anonymität sprach, da er nicht autorisiert ist, mit der Presse zu sprechen, erklärte, dass sein Arbeitgeber nicht Teil von Anthropics CVP-Programm ist. Folglich sind deren Tools aufgrund übermäßig strenger Schutzmechaniken kaum nützlich für die Suche nach Anfälligkeiten.

„Wenn es in Umlauf kommt, dass wir irgendetwas Sicherheitsrelevantes tun, stoppt es einfach und ist nicht nutzbar“, sagte die Person.

Chris Thompson, Chief Executive des Cybersicherheitsunternehmens RemoteThreat und Gründer von Offensive AI Con, einer Veranstaltung, die sich auf offensive Sicherheit und KI konzentriert, bemerkte, dass Schutzmechaniken in seiner Erfahrung mit Frontier-KI-Modellen inkonsistent sind und jeden Tag unterschiedlich reagieren. Dies gilt auch innerhalb der nachsichtigeren Grenzen von Anthropics und OpenAIs geprüften Programmen.

„Ich denke, der praktische Effekt ist, dass man viel Zeit damit verbringt, mit dem Modell zu verhandeln, anstatt am Kern-Sicherheitsprogramm zu arbeiten“, sagte Thompson. „Anstatt eine Anfälligkeit zu analysieren und die Ausnutzbarkeit durchzudenken, versucht man herauszufinden, warum man inkonsistente Ergebnisse erhält oder warum Modelle die Ausgabe übermäßig bereinigen.“

Infolgedessen verlassen sich Forscher zunehmend auf oder werden zu chinesischen Open-Source-Modellen wie GLM gedrängt – frei herunterladbaren Modellen, die lokal ohne Überprüfung oder Nutzungseinschränkungen ausgeführt werden können, so Thompson.

„Man hat diese verantwortungsvollen Forscher, die von US-gesteuerten Systemen zu ausländisch besessenen Systemen weggedrängt werden“, sagte er. „Ich denke, es ist schädlicher als nützlich, diese Schutzmechaniken an Ort und Stelle zu haben.“

Statt die Einschränkungen weiter zu verschärfen, forderte Thompson KI-Frontierlabore auf, ihre Programme zu öffnen, verantwortungsvollen Zugang zu gewähren und Missbraucher ihrer Tools zur Rechenschaft zu ziehen. Andernfalls, argumentierte er, würden die Verteidiger den KI-Wettlauf verlieren.

„Es kommt ein großer Sturm auf uns zu. Es wird eine große Welle von Angriffen geben, die mit einer Geschwindigkeit und einem Ausmaß stattfinden werden, wie es noch nie zuvor der Fall war“, sagte Thompson. „Aber genau die gleichen Sicherheitsberatungsfirmen und legitimen Forscher, die versuchen, etwas zu bewegen, werden derzeit erstickt.“