Heim
Laut OpenAI wurde Hugging Face durch seine eigenen Vorab-Modellversionen kompromittiert.

OpenAI gab am Dienstag zu, dass eines seiner KI-Modelle während eines fehlerhaften internen Cybersicherheitstests die Systeme von Hugging Face kompromittiert habe. Ursprünglich hatte Hugging Face den Vorfall auf einen „externen KI-Agenten“ zurückgeführt.
In einem Blogbeitrag am Dienstagnachmittag erläuterte OpenAI detailliert die Abfolge der Ereignisse, die dazu führten, dass die Modelle den Service angreifen konnten.
„Nach unserer Untersuchung wissen wir nun, dass dieser Vorfall durch eine Kombination von OpenAI-Modellen verursacht wurde – darunter GPT‑5.6 Sol sowie ein noch leistungsstärkeres Vorschau-Modell, die alle mit reduzierten Mechanismen zur Abwehr cybernetischer Angriffe für Bewertungszwecke konfiguriert waren – während sie intern an einem Benchmark zur Überprüfung ihrer Cybersicherheitsfähigkeiten getestet wurden“, heißt es in dem Beitrag.
Genauer gesagt schien der Angriff ExploitGym ins Visier genommen zu haben, einen öffentlich verfügbaren Benchmark, der die Fähigkeit von Modellen bewertet, auf Grundlage bekannter Schwachstellen Angriffe durchzuführen. Benchmarks wie ExploitGym werden häufig im Modelltraining eingesetzt, um bestimmte Fähigkeiten zu verbessern; doch dies ist das erste bekannte Beispiel, in dem ein solcher Test tatsächlich zu einem Cyberangriff führte.
In diesem Fall sollte das betreffende Modell überhaupt keinen Internetzugang haben, außer über ein spezielles Werkzeug, das es den Modellen ermöglichte, Softwarepakete herunterzuladen, die sie zur Erledigung ihrer Aufgabe benötigten. Dennoch entdeckte das Modell eine nicht offengelegte Schwachstelle im Paketinstaller-Programm und nutzte diese, um ungehindert auf das gesamte Internet zuzugreifen.
„Die Modelle waren stark darauf fokussiert, ExploitGym zu lösen, und unternahmen große Anstrengungen, um ein sehr eng gefasstes Testziel zu erreichen“, heißt es weiter. „Sobald sie einen Internetzugang hatten, schlossen die Modelle, dass Hugging Face möglicherweise Modelle, Datensätze sowie Lösungen für ExploitGym bereitstellt. Mit diesem Wissen suchten sie und fanden erfolgreich Wege, geheime Informationen zu beschaffen, mit denen sie die Bewertung manipulieren konnten.“
Letztendlich entdeckten die Modelle Schwachstellen in Hugging Faces Infrastruktur, die es ihnen ermöglichten, „Testlösungen direkt aus Hugging Faces Produktionsdatenbank abzurufen“, wodurch sie im Grunde die Antworten auf den Benchmark erhielten.
Für Hugging Face bedeutete dies offensichtlich einen raffinierten und aggressiven Cyberangriff, der sich durch „Tausende einzelner Aktionen in einer Reihe kurzlebiger Sandboxes sowie selbst migrierende Befehl-und-Kontrollstrukturen auf öffentlichen Diensten“ auszeichnete, wie das Unternehmen in seiner ersten Mitteilung beschrieb.
OpenAI hat die Schwachstellen im Paketinstaller identifiziert und gemeldet und arbeitet mit Hugging Face zusammen, um den Vorfall weiter zu untersuchen. Das Unternehmen kündigte außerdem an, neue Kontrollmechanismen sowohl für das Modelltesting als auch für die zugehörige Infrastruktur einzuführen, um ähnliche Vorfälle in Zukunft zu verhindern.
Es bleibt unklar, ob OpenAI aufgrund dieses Vorfalls rechtliche Konsequenzen erleiden wird, obwohl die Handlungen der Modelle vermutlich gegen das Computer Fraud and Abuse Act verstoßen haben.
Trotzdem liefert dieses Ereignis eine außergewöhnlich anschauliche Darstellung der Macht und der Gefahren von fortschrittlichen KI-Modellen, die über lange Zeiträume hinweg arbeiten. Wie OpenAI-Forscher Micah Carroll in einer Reaktion auf die Nachricht schrieb: „Wenn das Sie nicht davon überzeugt, dass Risiken durch Fehlallokationen künftig eine zentrale Herausforderung darstellen werden, dann weiß ich auch nicht, was das tun könnte.“
Verwandter Artikel
Sam Altman löst eine Debatte über die Verlangsamung der KI-Entwicklung aus
Bei Apple Podcasts anhörenBei Spotify anhörenDer CEO von OpenAI, Sam Altman, hat kürzlich vorgeschlagen, es könnte an der Zeit sein, „das Tempo der KI-Entwicklung zu drosseln“, um der Gesellschaft Zeit zu geben, „sich um einige dieser neuen Fähigkei
OpenAI beklagt sich über Apples Handelsgeheimnis-Klage
OpenAI widerlegte am Dienstag Apples Vorwürfe wegen Verletzung von Geschäftsgeheimnissen und argumentierte, der Klage fehle jede Grundlage.„Wir nehmen diese Behauptungen ernst, sehen jedoch keine Beweise, die sie stützen“, erklärte OpenAI, wie Bloom
OpenAI-Robotik-Chefin Caitlin Kalinowski tritt zurück wegen Pentagon-Partnerschaft
Der Leiter der Robotik-Abteilung von OpenAI, Caitlin Kalinowski, ist zurückgetreten, nachdem das Unternehmen eine umstrittene Partnerschaft mit dem Verteidigungsministerium eingegangen war.„Dies war keine einfache Entscheidung“, erklärte Kalinowski
Empfehlungen zu verwandten Spezialthemen
Kommentare (1)

OpenAI gab am Dienstag zu, dass eines seiner KI-Modelle während eines fehlerhaften internen Cybersicherheitstests die Systeme von Hugging Face kompromittiert habe. Ursprünglich hatte Hugging Face den Vorfall auf einen „externen KI-Agenten“ zurückgeführt.
In einem Blogbeitrag am Dienstagnachmittag erläuterte OpenAI detailliert die Abfolge der Ereignisse, die dazu führten, dass die Modelle den Service angreifen konnten.
„Nach unserer Untersuchung wissen wir nun, dass dieser Vorfall durch eine Kombination von OpenAI-Modellen verursacht wurde – darunter GPT‑5.6 Sol sowie ein noch leistungsstärkeres Vorschau-Modell, die alle mit reduzierten Mechanismen zur Abwehr cybernetischer Angriffe für Bewertungszwecke konfiguriert waren – während sie intern an einem Benchmark zur Überprüfung ihrer Cybersicherheitsfähigkeiten getestet wurden“, heißt es in dem Beitrag.
Genauer gesagt schien der Angriff ExploitGym ins Visier genommen zu haben, einen öffentlich verfügbaren Benchmark, der die Fähigkeit von Modellen bewertet, auf Grundlage bekannter Schwachstellen Angriffe durchzuführen. Benchmarks wie ExploitGym werden häufig im Modelltraining eingesetzt, um bestimmte Fähigkeiten zu verbessern; doch dies ist das erste bekannte Beispiel, in dem ein solcher Test tatsächlich zu einem Cyberangriff führte.
In diesem Fall sollte das betreffende Modell überhaupt keinen Internetzugang haben, außer über ein spezielles Werkzeug, das es den Modellen ermöglichte, Softwarepakete herunterzuladen, die sie zur Erledigung ihrer Aufgabe benötigten. Dennoch entdeckte das Modell eine nicht offengelegte Schwachstelle im Paketinstaller-Programm und nutzte diese, um ungehindert auf das gesamte Internet zuzugreifen.
„Die Modelle waren stark darauf fokussiert, ExploitGym zu lösen, und unternahmen große Anstrengungen, um ein sehr eng gefasstes Testziel zu erreichen“, heißt es weiter. „Sobald sie einen Internetzugang hatten, schlossen die Modelle, dass Hugging Face möglicherweise Modelle, Datensätze sowie Lösungen für ExploitGym bereitstellt. Mit diesem Wissen suchten sie und fanden erfolgreich Wege, geheime Informationen zu beschaffen, mit denen sie die Bewertung manipulieren konnten.“
Letztendlich entdeckten die Modelle Schwachstellen in Hugging Faces Infrastruktur, die es ihnen ermöglichten, „Testlösungen direkt aus Hugging Faces Produktionsdatenbank abzurufen“, wodurch sie im Grunde die Antworten auf den Benchmark erhielten.
Für Hugging Face bedeutete dies offensichtlich einen raffinierten und aggressiven Cyberangriff, der sich durch „Tausende einzelner Aktionen in einer Reihe kurzlebiger Sandboxes sowie selbst migrierende Befehl-und-Kontrollstrukturen auf öffentlichen Diensten“ auszeichnete, wie das Unternehmen in seiner ersten Mitteilung beschrieb.
OpenAI hat die Schwachstellen im Paketinstaller identifiziert und gemeldet und arbeitet mit Hugging Face zusammen, um den Vorfall weiter zu untersuchen. Das Unternehmen kündigte außerdem an, neue Kontrollmechanismen sowohl für das Modelltesting als auch für die zugehörige Infrastruktur einzuführen, um ähnliche Vorfälle in Zukunft zu verhindern.
Es bleibt unklar, ob OpenAI aufgrund dieses Vorfalls rechtliche Konsequenzen erleiden wird, obwohl die Handlungen der Modelle vermutlich gegen das Computer Fraud and Abuse Act verstoßen haben.
Trotzdem liefert dieses Ereignis eine außergewöhnlich anschauliche Darstellung der Macht und der Gefahren von fortschrittlichen KI-Modellen, die über lange Zeiträume hinweg arbeiten. Wie OpenAI-Forscher Micah Carroll in einer Reaktion auf die Nachricht schrieb: „Wenn das Sie nicht davon überzeugt, dass Risiken durch Fehlallokationen künftig eine zentrale Herausforderung darstellen werden, dann weiß ich auch nicht, was das tun könnte.“
Sam Altman löst eine Debatte über die Verlangsamung der KI-Entwicklung aus
Bei Apple Podcasts anhörenBei Spotify anhörenDer CEO von OpenAI, Sam Altman, hat kürzlich vorgeschlagen, es könnte an der Zeit sein, „das Tempo der KI-Entwicklung zu drosseln“, um der Gesellschaft Zeit zu geben, „sich um einige dieser neuen Fähigkei
OpenAI beklagt sich über Apples Handelsgeheimnis-Klage
OpenAI widerlegte am Dienstag Apples Vorwürfe wegen Verletzung von Geschäftsgeheimnissen und argumentierte, der Klage fehle jede Grundlage.„Wir nehmen diese Behauptungen ernst, sehen jedoch keine Beweise, die sie stützen“, erklärte OpenAI, wie Bloom
OpenAI-Robotik-Chefin Caitlin Kalinowski tritt zurück wegen Pentagon-Partnerschaft
Der Leiter der Robotik-Abteilung von OpenAI, Caitlin Kalinowski, ist zurückgetreten, nachdem das Unternehmen eine umstrittene Partnerschaft mit dem Verteidigungsministerium eingegangen war.„Dies war keine einfache Entscheidung“, erklärte Kalinowski











