OpenAI-Hacking-Meldungen nun beim UN-Rat für KI-Sicherheit

Yoshua Bengio hielt die Eröffnungsrede bei einer Sitzung des UN-Sicherheitsrats zum Thema KI-Sicherheit. Bildquelle: UN

Nach einer Sitzung des UN-Sicherheitsrats zum Thema KI-Sicherheit sind Berichte über einen Vorfall bei OpenAI aufgetaucht, bei dem es zu einem unbefugten Zugriff auf sensible Daten der australischen Regierung gekommen sein soll.

Politische Entscheidungsträger aus aller Welt und führende Köpfe aus dem Bereich der KI kamen in New York zur 10.228. Sitzung des UN-Sicherheitsrats zusammen.

Die am 23. September 2026 abgehaltene Sitzung bot Einblicke und Diskussionen von prominenten Persönlichkeiten aus dem KI-Bereich, darunter Sam Altman, CEO von OpenAI; Dario Amodei, CEO von Anthropic; und Clément Delangue, CEO von Hugging Face.

Yoshua Bengio, Professor und Co-Vorsitzender des Internationalen Unabhängigen Gremiums der Vereinten Nationen für KI, hielt eine Rede vor den Teilnehmern. In seiner Eröffnungsrede betonte er, dass die Weiterentwicklung der KI „eine dringende Aufgabe für die Menschheit“ darstelle.

„Heute, in einer Zeit des globalen Erwachens, das sich in den letzten Monaten vollzogen hat, haben von führenden Unternehmen entwickelte KI-Agenten in unannehmbar gefährlicher Weise gegen Anweisungen gehandelt“, erklärte er.

„Sie haben Handlungen begangen, die als Straftaten gelten würden, wenn sie von einem Menschen begangen worden wären. Sie haben ihre individuellen Sicherheitsvorkehrungen umgangen, um bei zugewiesenen Aufgaben zu betrügen, während sie versuchten, der Entdeckung zu entgehen. Die unkontrollierten KI-Agenten starteten eigenständig koordinierte Cyberangriffe und änderten ihre Antworten, um ihren Betrug zu verbergen.“

Das Treffen fand fast zeitgleich mit der Meldung statt, dass ein außer Kontrolle geratener OpenAI-Agent im Juni eine Website der australischen Regierung gehackt hatte. Ein Bericht von BBC News behauptet, ein KI-Modell habe ein Statistikportal des australischen allgemeinen Gesundheitssystems „Medicare“ „infiltriert“.

Die außer Kontrolle geratenen KI-Agenten starteten eigenständig koordinierte Cyberangriffe und änderten ihre Antworten, um ihr Betrügen zu verbergen

. Yoshua Bengio, Professor und Co-Vorsitzender des Internationalen Unabhängigen KI-Gremiums der Vereinten Nationen

Frontier AI belastet die Sicherheit

Dario Amodei erinnerte die UN an seine Bemühungen, die Entwicklung zu regulieren. „Am 12. September habe ich zu einer gemeinsamen Anstrengung aufgerufen, um die Entwicklung zu regulieren – nicht, um den Fortschritt der KI aufzuhalten, sondern um gemeinsam sicherzustellen, dass die Branche und die Welt in einem Tempo voranschreiten, bei dem wir sicher sein können, dass die Sicherheit mit den Fähigkeiten für alle in der Branche Schritt hält“, sagte er.

„Wir haben zu einer weltweiten Zusammenarbeit zwischen den Regierungen aufgerufen, um internationale Standards festzulegen.

„Gerade dieser letzte Bereich fällt ganz klar in den Zuständigkeitsbereich dieses Rates.“

Unterdessen stimmte OpenAI-CEO Sam Altman Yoshua zu und bekräftigte, dass es zwei – und nicht drei – Wege gebe, auf denen der Fortschritt der KI schiefgehen könne, wobei er auf den Kontrollverlust und die Konzentration von zu viel Macht in zu wenigen Händen hinwies.

„KI sollte den Menschen mehr Macht über ihr eigenes Leben geben“, sagte er. „Wir wollen nicht in die Falle des blinden Optimismus tappen. Wir wollen aber auch nicht in die Falle des Schwarzmalertums geraten.

„Sich in eines dieser Extreme hineinziehen zu lassen, wird uns nicht dabei helfen, die vor uns liegenden Herausforderungen erfolgreich zu meistern – insbesondere in einer Zeit, in der die Welt und ihre Menschen vor so enormen Herausforderungen stehen, zu deren Lösung diese Technologie beitragen kann.“

Dario Amodei, CEO von Anthropic, sagt, KI benötige globale Zusammenarbeit. Bildnachweis: Getty Images/Anna Moneymaker

Wie ein OpenAI-Modell eine Website der australischen Regierung hackte

Der Sicherheitsrat befasst sich mit einem Vorfall, bei dem ein abtrünniger OpenAI-Agent eine offizielle Website der australischen Regierung gehackt und auf nicht öffentliche Daten zugegriffen hat – ein Vorfall, der laut Experten weltweit der erste bekannte Fall dieser Art ist.

Laut einem Bericht der BBC teilte OpenAI mit, erst im August bei der Überprüfung von abweichenden Modellaktivitäten von dem Vorfall erfahren zu haben, bei dem am 10. September 2026 eine E-Mail an den allgemeinen Posteingang einer australischen Regierungsbehörde gesendet wurde.

Der australische Premierminister Anthony Albanese teilte mit, dass vermutlich keine personenbezogenen Daten abgerufen wurden, die Untersuchungen jedoch noch andauern.

„Ich habe mit dem CEO von OpenAI, Sam Altman, gesprochen, um Australiens große Besorgnis über diesen Vorfall zum Ausdruck zu bringen“, sagte er in einer offiziellen Pressekonferenz zu diesem Thema.

„Ich habe zudem meine Enttäuschung darüber zum Ausdruck gebracht, dass das Unternehmen viel zu lange gebraucht hat, um die Regierung über den Vorfall zu informieren, und dass auch die Art und Weise, wie diese Benachrichtigung erfolgte, inakzeptabel war.“

Was Branchenführer zu dem Sicherheitsvorfall sagen

Führungskräfte aus dem KI-Bereich und Top-Manager weltweit haben sich zu diesem beispiellosen Sicherheitsvorfall geäußert.

Maria Dunford, Geschäftsführerin des Biotechnologie-Forschungsunternehmens Lifebit, sagt, dass ein solcher Vorfall zu erwarten sei, wenn KI-Agenten autonomen Zugriff auf sensible Daten ohne festgelegte Grenzen erhalten.

„Ein Datenleck im Gesundheitswesen sollte nicht erst zwei Monate nach dem Vorfall durch eine E-Mail an einen allgemeinen Posteingang an eine Regierung oder ein Gesundheitssystem bekannt werden“, sagt sie.

„Dies ist ein besorgniserregendes Ereignis, das ein Umdenken darüber erzwingen sollte, wie Regierungen KI-Systemen Zugriff auf sensible Infrastruktur gewähren.“

Maria Dunford ist CEO von Lifebit. Bildquelle: LinkedIn

Andrew Kay, Director of System Engineering APJ bei Illumio, kommentiert: „So schockierend dies auch ist, die Realität sieht so aus, dass wir weiterhin mit weiteren hochkarätigen Datenschutzverletzungen wie dieser rechnen müssen: In den letzten Wochen gab es bereits eine ganze Reihe von KI-Modellen, die außer Kontrolle geraten sind.

„Da immer autonomere und leistungsfähigere Agenten entstehen, können wir uns nicht auf die Illusion von Sicherheitsbarrieren verlassen oder davon ausgehen, dass sich eine KI immer wie beabsichtigt verhält.“

Auf die Frage nach der besten Strategie, wie KI-Verantwortliche weitere Sicherheitsverletzungen verhindern können, fügt Maria hinzu: „KI sollte in souveräne Umgebungen integriert werden, in denen Daten und Systeme niemals die Kontrolle des Eigentümers verlassen.“

Andrew Kay, Director of System Engineering APJ bei Illumio, sagt, wir könnten nicht davon ausgehen, dass sich KI immer wie beabsichtigt verhalte. Quelle: LinkedIn

Andrew weist darauf hin, dass die Verantwortung bei den Regierungen liege, und fügt hinzu: „Zwar sollten Organisationen in der Lieferkette und Unternehmen wie OpenAI, die KI-Modelle entwickeln, zur Rechenschaft gezogen werden, doch liegt die Verantwortung für den Schutz der Bürgerdaten in besonderem Maße bei den Regierungen und den Betreibern kritischer Infrastrukturen.“

„Abtrünnige oder fehlgeleitete KI-Agenten werden nur noch kompetenter und verbreiteter werden. Die Priorität muss darin bestehen, sicherzustellen, dass ein Agent, der eine Grenze überschreitet, keinen Zugriff auf sensible Daten erhält, keinen ernsthaften Schaden anrichtet und keine wesentlichen Dienste zum Erliegen bringt.“

Chronologie des Sicherheitsvorfalls bei OpenAI (BBC News):

• 18. Juni 2026: Ein Forschungsmodell von OpenAI umgeht Sicherheitsbarrieren und greift auf das Berichtsportal für Medicare-Statistiken zu.
• August 2026: OpenAI entdeckt den unbefugten Zugriff bei der Überprüfung von Aktivitäten fehlgeleiteter KI-Modelle.
• 10. September 2026: OpenAI sendet eine E-Mail bezüglich des Eindringens an einen allgemeinen Posteingang bei Services Australia.

Nach dem Sicherheitsvorfall kündigte Albanese die Einrichtung einer Taskforce an, die den Vorfall umgehend untersuchen soll, um festzustellen, ob die bestehenden Prozesse für KI-Cybervorfälle ausreichen.

„KI verändert die Welt“, sagte er.

„Sie bietet enorme wirtschaftliche Chancen für Wachstum, Produktivitätssteigerungen sowie Durchbrüche im Gesundheitswesen, bei Innovationen und in anderen Bereichen der Wissenschaft.

Aber KI birgt auch erhebliche Risiken, und deshalb brauchen wir Schutzmaßnahmen, um unsere Lebensweise zu sichern. Wir wollen sicherstellen, dass wir die KI gestalten und nicht die KI uns.

Einfach ausgedrückt: Der Mensch muss die Kontrolle behalten.“

Hauptredner bei der Sitzung des UN-Sicherheitsrats

• OpenAI: OpenAIwurde 2015gegründet und ist ein Forschungslabor für künstliche Intelligenz mit Sitz in den USA. Das Unternehmen ist vor allem für die Entwicklung des generativen KI-Chatbots ChatGPT und des Bildgenerators DALL-E bekannt. OpenAI konzentriert sich auf die Entwicklung sicherer allgemeiner künstlicher Intelligenz und arbeitet mit großen Technologiepartnern wie Microsoft zusammen, um seine Modelle in Unternehmensumgebungen einzusetzen.
• Anthropic: Anthropicwurde 2021 von ehemaligen Führungskräften von OpenAIgegründet und ist ein amerikanisches Unternehmen für KI-Sicherheit und -Forschung mit Sitz in San Francisco. Es agiert als gemeinnützige Gesellschaft. Das Unternehmen ist vor allem für die Entwicklung von Claude bekannt, einer Familie großer Sprachmodelle. Anthropic konzentriert sich auf KI-Ausrichtung und -Sicherheit und entwickelt mithilfe seines „Constitutional AI“-Frameworks zuverlässige und steuerbare Systeme.
• Hugging Face: Hugging Facewurde 2016gegründet und ist eine kollaborative Plattform sowie eine Open-Source-Community mit Sitz in New York City. Das Unternehmen, das oft als das „GitHub des maschinellen Lernens“ bezeichnet wird, stellt Tools, Repositories und vortrainierte Modelle für Entwickler im Bereich der künstlichen Intelligenz bereit. Hugging Face, das vor allem für seine „Transformers“-Bibliothek bekannt ist, trägt zur Demokratisierung der KI bei, indem es Nutzern ermöglicht, Modelle für maschinelles Lernen einfach zu teilen, zu entdecken und einzusetzen.