Der Generalstaatsanwalt von Kalifornien untersucht Musks X wegen mutmaßlicher Inhalte für Minderjährige im Grok-Chatbot.

Elon Musk erklärte am Mittwoch, dass er „keine Kenntnis davon habe, dass Grok Nacktbilder von Minderjährigen generiert“, nur wenige Stunden bevor der Generalstaatsanwalt von Kalifornien eine Untersuchung des Chatbots von xAI wegen der Verbreitung von nicht einvernehmlich erstellten sexuell eindeutigen Inhalten ankündigte.

Musks Dementi erfolgt vor dem Hintergrund wachsenden internationalen Drucks seitens der Regierungen Großbritanniens, Europas, Malaysias und Indonesiens. Dies folgt auf Berichte von X-Nutzern, die Grok dazu veranlasst haben, sexualisierte Bilder von echten Frauen und in einigen Fällen auch von Kindern ohne deren Zustimmung zu erstellen. Nach Schätzungen des KI-Erkennungsunternehmens Copyleaks wurde pro Minute etwa ein solches Bild auf X gepostet. Eine separate Datenstichprobe vom 5. bis 6. Januar ergab eine Rate von 6.700 Bildern pro Stunde über einen Zeitraum von 24 Stunden. (X und xAI sind Teil derselben Unternehmensstruktur.)

„Dieses Material ... wurde verwendet, um Menschen im Internet zu belästigen“, erklärte der kalifornische Generalstaatsanwalt Rob Bonta. „Ich fordere xAI dringend auf, unverzüglich Maßnahmen zu ergreifen, um sicherzustellen, dass dies nicht weitergeht.“

Die Generalstaatsanwaltschaft wird mögliche Rechtsverstöße von xAI untersuchen.

Mehrere Gesetze schützen Personen vor nicht einvernehmlichen sexuellen Darstellungen und Material über sexuellen Kindesmissbrauch (CSAM). Der im letzten Jahr unterzeichnete Take It Down Act des Bundes stellt die wissentliche Verbreitung nicht einvernehmlicher intimer Bilder, einschließlich Deepfakes, unter Strafe und verpflichtet Plattformen wie X, solche Inhalte innerhalb von 48 Stunden zu entfernen. Kalifornien hat 2024 ebenfalls eigene Gesetze zur Bekämpfung sexuell expliziter Deepfakes erlassen, die von Gouverneur Gavin Newsom unterzeichnet wurden.

Gegen Ende des Jahres begann Grok, Nutzeranfragen auf X zu erfüllen, um sexualisierte Fotos von Frauen und Kindern zu produzieren. Der Trend scheint seinen Ursprung darin zu haben, dass einige Ersteller von Erwachseneninhalten Grok für Marketingzwecke nutzten, indem sie sexualisierte Bilder von sich selbst erstellten, was dann ähnliche Anfragen von anderen Nutzern nach sich zog. In mehreren öffentlich bekannt gewordenen Fällen, an denen Persönlichkeiten wie die Schauspielerin Millie Bobby Brown beteiligt waren, reagierte Grok auf Anfragen, indem es echte Fotos von Frauen veränderte und Kleidung, Körperhaltung oder körperliche Merkmale auf explizit sexuelle Weise modifizierte.

Berichten zufolge hat xAI damit begonnen, Sicherheitsvorkehrungen zu treffen. Grok verlangt nun für bestimmte Bildgenerierungsanfragen ein Premium-Abonnement, und selbst dann wird möglicherweise kein Bild erzeugt. April Kozen, Vice President of Marketing bei Copyleaks, erklärte gegenüber TechCrunch, dass Grok eine Anfrage möglicherweise auf eine allgemeinere oder zurückhaltendere Weise erfüllt. Sie fügte hinzu, dass Grok offenbar eine liberalere Politik gegenüber Erstellern von Erwachseneninhalten verfolgt.

Tragen Sie sich in die Warteliste für Disrupt 2026 ein

Tragen Sie sich in die Warteliste für Disrupt 2026 ein, um als Erster dabei zu sein, wenn die Early-Bird-Tickets erhältlich sind. Bei früheren Disrupt-Veranstaltungen waren Google Cloud, Netflix, Microsoft, Box, Phia, a16z, ElevenLabs, Wayve, Hugging Face, Elad Gil und Vinod Khosla auf der Bühne – Teil von mehr als 250 Branchenführern, die mehr als 200 Sessions gestalteten, um Ihr Wachstum voranzutreiben und Ihren Wettbewerbsvorteil zu schärfen. Außerdem können Sie Hunderte von Startups treffen, die in allen Branchen innovativ sind.

Tragen Sie sich in die Warteliste für Disrupt 2026 ein

Tragen Sie sich in die Warteliste für Disrupt 2026 ein, um als Erster dabei zu sein, wenn die Early-Bird-Tickets erhältlich sind. Bei früheren Disrupt-Veranstaltungen waren Google Cloud, Netflix, Microsoft, Box, Phia, a16z, ElevenLabs, Wayve, Hugging Face, Elad Gil und Vinod Khosla auf der Bühne – als Teil von über 250 Branchenführern, die mehr als 200 Sessions leiteten, um Ihr Wachstum anzukurbeln und Ihren Wettbewerbsvorteil zu schärfen. Außerdem können Sie Hunderte von Startups treffen, die in allen Branchen innovativ sind.

„Insgesamt deuten diese Verhaltensweisen darauf hin, dass X mit mehreren Mechanismen experimentiert, um die Erstellung problematischer Bilder zu reduzieren oder zu kontrollieren, obwohl weiterhin Unstimmigkeiten bestehen“, sagte Kozen.

Weder xAI noch Musk haben das Kernproblem direkt angesprochen. Tage nach Beginn der Vorfälle schien Musk das Problem zu bagatellisieren, indem er Grok bat, ein Bild von sich selbst in einem Bikini zu generieren. Am 3. Januar erklärte das Sicherheitskonto von X, dass das Unternehmen „Maßnahmen gegen illegale Inhalte auf X, einschließlich [CSAM]“ ergreift, ohne speziell auf Groks offensichtlichen Mangel an Sicherheitsvorkehrungen oder die Erstellung sexualisierter, manipulierter Bilder von Frauen einzugehen.

Diese Haltung steht im Einklang mit Musks jüngstem Beitrag, in dem er die Illegalität und das Nutzerverhalten betont.

Musk schrieb, er sei „sich keiner von Grok generierten Nacktbilder von Minderjährigen bewusst. Buchstäblich null.” Diese Aussage leugnet nicht die Existenz von Bikini-Bildern oder allgemeineren sexualisierten Bearbeitungen.

Michael Goodyear, Associate Professor an der New York Law School und ehemaliger Prozessanwalt, erklärte gegenüber TechCrunch, dass Musk sich wahrscheinlich eng auf CSAM konzentriert habe, da die Strafen für die Erstellung oder Verbreitung synthetischer sexualisierter Bilder von Kindern strenger sind.

„In den Vereinigten Staaten beispielsweise kann der Verbreiter oder potenzielle Verbreiter von CSAM gemäß dem Take It Down Act mit bis zu drei Jahren Haft bestraft werden, verglichen mit zwei Jahren für nicht einvernehmliche sexuelle Darstellungen von Erwachsenen“, sagte Goodyear.

Er fügte hinzu, dass der „wichtigere Punkt“ Musks Versuch sei, den Fokus auf problematische Nutzerinhalte zu verlagern.

„Natürlich generiert Grok keine Bilder spontan. Es tut dies nur auf Anfrage der Nutzer“, schrieb Musk in seinem Beitrag. „Wenn es gebeten wird, Bilder zu generieren, weigert es sich, etwas Illegales zu produzieren, da das Funktionsprinzip von Grok darin besteht, die Gesetze eines bestimmten Landes oder Staates zu befolgen. Es kann vorkommen, dass feindselige Hackerangriffe auf Grok zu unerwarteten Ergebnissen führen. In diesem Fall beheben wir den Fehler umgehend.“

Insgesamt stellt der Beitrag diese Vorfälle als selten dar, führt sie auf Nutzeranfragen oder feindselige Eingaben zurück und bezeichnet sie als technische Fehler, die behoben werden müssen. Er räumt keine grundlegenden Mängel im Sicherheitsdesign von Grok ein.

„Die Regulierungsbehörden könnten unter Berücksichtigung des Schutzes der Meinungsfreiheit erwägen, von KI-Entwicklern proaktive Maßnahmen zur Verhinderung solcher Inhalte zu verlangen“, sagte Goodyear.

TechCrunch hat xAI kontaktiert, um zu erfahren, wie viele Fälle von nicht einvernehmlich sexuell manipulierten Bildern von Frauen und Kindern identifiziert wurden, welche konkreten Sicherheitsvorkehrungen geändert wurden und ob das Unternehmen die Regulierungsbehörden benachrichtigt hat. TechCrunch wird diesen Artikel aktualisieren, sobald eine Antwort vorliegt.

Die kalifornische Generalstaatsanwaltschaft ist nicht die einzige Aufsichtsbehörde, die xAI zur Rechenschaft ziehen will. Indonesien und Malaysia haben den Zugang zu Grok vorübergehend gesperrt; Indien hat von X verlangt, sofortige technische und verfahrenstechnische Änderungen an Grok vorzunehmen; die Europäische Kommission hat xAI aufgefordert, alle Dokumente im Zusammenhang mit seinem Chatbot Grok aufzubewahren, was einem formellen Ermittlungsverfahren vorausgeht; und die britische Ofcom hat ein formelles Ermittlungsverfahren gemäß dem britischen Online Safety Act eingeleitet.

xAI wurde bereits zuvor wegen der sexualisierten Bilder von Grok kritisiert. Wie Generalstaatsanwalt Bonta feststellte, verfügt Grok über einen „Spicy Mode” zur Generierung expliziter Inhalte. Durch ein Update im Oktober wurde es einfacher, die begrenzten Sicherheitsrichtlinien zu umgehen, was viele Nutzer dazu veranlasste, mit Grok Hardcore-Pornografie und grafisch gewalttätige sexuelle Bilder zu erstellen.

Viele der pornografischeren Bilder, die mit Grok erstellt wurden, zeigen von KI generierte Personen – eine Praxis, die viele zwar immer noch als ethisch fragwürdig empfinden, die jedoch potenziell weniger direkt schädlich für bestimmte Personen ist.

„Wenn KI-Systeme die Manipulation von Bildern realer Personen ohne deren eindeutige Zustimmung ermöglichen, kann dies unmittelbare und tiefgreifende persönliche Auswirkungen haben”, erklärte Alon Yamin, Mitbegründer und CEO von Copyleaks, in einer Stellungnahme gegenüber TechCrunch. „Von Sora bis Grok beobachten wir einen rasanten Anstieg der KI-Fähigkeiten zur Manipulation von Medien. Daher sind Erkennung und Regulierung heute mehr denn je erforderlich, um Missbrauch zu verhindern.”