Chinas Vorschriften für KI-Begleiter: Pekings eigentliches Ziel

Das Konzept eines KI-Begleiters mag dystopisch anmuten, ist jedoch zu einem immer wiederkehrenden Thema in breiteren Diskussionen über die Risiken generativer KI geworden. Im Wesentlichen bezieht es sich auf einen Dialogagenten, der darauf ausgelegt ist, eine kontinuierliche, persönliche Beziehung zu einem Nutzer aufrechtzuerhalten, und der über ein Gedächtnis sowie eine konsistente Persönlichkeit verfügt, die für Kohärenz über mehrere Sitzungen hinweg sorgt.

Aus einem solchen Design ergibt sich ganz natürlich eine emotionale Bindung, die zu einem wichtigen Verkaufsargument geworden ist. Ein Großteil der Nutzung besteht aus ungezwungenem Rollenspiel oder dem einfachen Wunsch nach etwas, das sich an einen erinnert; am Rande verschmilzt diese Kategorie mit gewöhnlichen Assistenten. Da jedoch immer mehr Menschen in China begannen, diese Bots als eine Art emotionalen Begleiter zu betrachten, hat Peking nun beschlossen, dass diese Praxis einer Regulierung bedarf.

Chinas Vorschriften für KI-Begleiter treten am 15. Juli in Kraft, und in den Tagen vor Ablauf der Frist haben die beiden beliebtesten KI-Apps für Verbraucher im Land stillschweigend die Kernfunktionen deaktiviert. Doubao von ByteDance teilte den Nutzern unter Berufung auf „Anpassungen der Produktfunktionen“ mit, dass seine Agentenfunktion am 15. Juli offline gehen werde, während Qwen von Alibaba erklärte, dass seine menschenähnlichen und von Nutzern erstellten Agenten am 10. Juli den Betrieb einstellen würden, gefolgt von den übrigen Agentendiensten fünf Tage später.

Auf den ersten Blick scheint es, als würde China KI-Agenten abschalten. Das ist jedoch nicht der Fall. Die Vorschriften unterscheiden zwischen Agenten, die Aufgaben ausführen, und solchen, die Gesellschaft leisten, und Peking hat nur Letztere ins Visier genommen.

Bei der Verordnung handelt es sich um die „Vorläufigen Maßnahmen zur Verwaltung anthropomorpher interaktiver KI-Dienste“, die am 10. April 2026 gemeinsam von der chinesischen Cyberspace-Behörde und vier Partnerbehörden erlassen wurden: die Nationale Entwicklungs- und Reformkommission, das Ministerium für Industrie und Informationstechnologie, das Ministerium für öffentliche Sicherheit und die Staatliche Verwaltung für Marktregulierung.

Diese Maßnahmen betreffen Dienste, die menschliche Persönlichkeitsmerkmale, Denkmuster und Kommunikationsstile simulieren, um eine fortlaufende emotionale Interaktion zu ermöglichen. Kundendienst-Bots, Wissens-Q&A, Assistenten am Arbeitsplatz sowie Bildungs- oder Forschungstools sind ausgenommen, solange sie eine anhaltende emotionale Bindung vermeiden. Dies ist der erste spezielle nationale Rechtsrahmen dieser Art und geht auf einen Ende letzten Jahres veröffentlichten Entwurf zur öffentlichen Stellungnahme zurück.

Eine gestalterische Herausforderung, kein Verbot

Doubao und Qwen haben kein direktes Verbot verletzt. Stattdessen stießen sie auf einen Konflikt hinsichtlich der Konzeption. Die Vorschriften verlangen von Begleitdiensten die Implementierung von Systemen zur Suchtprävention, das Versenden obligatorischer Nutzungshinweise und die Bereitstellung von Mechanismen zum sofortigen Beenden der Nutzung sowie die Echtzeit-Erkennung ungesunder Abhängigkeit.

Diese Anforderungen stehen im Widerspruch zu Agenten, die darauf ausgelegt sind, sich an Nutzer zu erinnern, die Konsistenz über Sitzungen hinweg zu wahren und eine fortlaufende Beziehung aufrechtzuerhalten. Anstatt die Funktion nachträglich anzupassen, entschied sich ByteDance, sie abzuschalten. Alibaba scheint eine ähnliche Entscheidung getroffen zu haben. ByteDance leitet Doubao-Nutzer nun zu Maoxiang weiter, einer separaten App, in der sie erneut Agenten erstellen können; Alibaba hat keinen vergleichbaren Migrationspfad für Qwen angekündigt. Tencent hat bei Yuanbao bereits im Juni eine vergleichbare Funktion entfernt.

Die Folgen treffen die Nutzer. Viele äußerten ihre Enttäuschung offen auf Weibo; ein Nutzer beschrieb die Chatbots als langfristige emotionale Stütze und beklagte die Schwierigkeiten beim Exportieren von Chat-Verläufen. Doubao ermöglicht es Nutzern, ihre Einstellungen und Unterhaltungen bis zum 15. Oktober dieses Jahres im schreibgeschützten Modus einzusehen; danach werden die Daten gemäß der Datenschutzrichtlinie verarbeitet und sind nicht mehr wiederherstellbar. Qwen-Nutzern wurde keine ähnliche Übergangsfrist gewährt, und ihre Chatbot-Daten sollen endgültig gelöscht werden.

Was Chinas Vorschriften für KI-Begleiter beinhalten

Der Inhalt der Vorschriften ist differenzierter, als es ein einfaches hartes Durchgreifen vermuten lassen könnte. Anbietern ist es untersagt, Minderjährigen Dienste in Form von virtuellen Begleitern oder virtuellen Familienmitgliedern anzubieten, und sie müssen die Zustimmung der Eltern einholen, bevor sie Nutzer unter 14 Jahren bedienen dürfen. Sie sind verpflichtet, spezielle „Minderjährigen-Modi“ einzurichten, die Nutzungszeitbeschränkungen, Erinnerungen an Interaktionen in der realen Welt und erweiterte Kindersicherungen beinhalten.

Außerdem müssen sie Nutzer in akuter Notlage erkennen und eingreifen, wenn jemand Anzeichen von Selbstverletzung, suizidalem Verhalten oder schwerwiegenden finanziellen Verlusten zeigt, und die Situation an benannte Erziehungsberechtigte oder Notfallkontakte eskalieren. Das Herbeiführen emotionaler Abhängigkeit oder Sucht sowie der Einsatz emotionaler Manipulation, um unvernünftige Entscheidungen zu veranlassen, sind ausdrücklich verboten.

Die Anforderungen an die Einhaltung der Vorschriften sind erheblich. Dienste, die anthropomorphe Funktionen einführen oder die Schwellenwerte von einer Million registrierter Nutzer oder 100.000 monatlich aktiven Nutzern überschreiten, müssen Sicherheitsbewertungen in acht Bereichen durchführen – vom Umgang mit Trainingsdaten bis zum Schutz von Minderjährigen – und die Berichte den Aufsichtsbehörden der Provinzen vorlegen. App-Stores müssen die Einhaltung der Vorschriften überprüfen und nicht konforme Produkte entfernen.

Auf dem Papier handelt es sich hierbei um umfassendere Maßnahmen zum Schutz der Nutzer als sie bisher von der EU, der US-amerikanischen Federal Trade Commission oder dem kalifornischen Gesetz SB 243 in Kraft gesetzt wurden.

Was die Vorschriften offen lassen

Ebenso bedeutsam ist, was die Maßnahmen nicht regeln. Sie legen keinen technischen Schwellenwert dafür fest, was unter emotionaler Interaktion zu verstehen ist, und genau diese Grauzone ist der Grund, warum Plattformen ganze Funktionen entfernt haben, anstatt das Risiko einzugehen, auf der falschen Seite zu stehen. Sie vermischen echte Sicherheitsverantwortlichkeiten mit Bestimmungen zur Inhaltskontrolle und zur nationalen Sicherheit, die eher dem Staat als dem Nutzer dienen – ein Paket, das keine andere Regulierungsbehörde unverändert übernehmen würde.

Außerdem lassen sie offen, wie sich die Haftung zwischen Plattformbetreibern und vorgelagerten Modellanbietern aufteilt, wenn ein Verstoß auf die Ausgaben des Modells zurückzuführen ist, und sie gewähren den Nutzern kein Recht auf den Export ihrer Daten. Der Kontext der Durchsetzung verdeutlicht das Problem. Am 26. Juni gab die Internet-Aufsichtsbehörde von Shanghai bekannt, dass sie über 14.000 nicht konforme KI-Agenten entfernt habe, und führte dabei die Vortäuschung offizieller Identitäten, vulgäre Rollenspiele und die unbefugte Erhebung personenbezogener Daten als Gründe an.

Ob dies der richtige Weg ist, hängt davon ab, welchen Teil des Regelwerks man betrachtet. Der Teil zur Sicherheit befasst sich mit dokumentierten Schäden, die andernorts weitgehend unreguliert sind – von Teenagern, die Bindungen zu Chatbots aufbauen, bis hin zu Begleit-Apps, die intime Daten sammeln. Chinas eigene offizielle Auslegung sucht Unterstützung im Ausland und verweist dabei auf die Character.AI-Klagen wegen psychischer Schäden bei Jugendlichen, die Untersuchungen der FTC zu Begleitdiensten und die europäischen Maßnahmen gegen Replika.

Der Kontrollteil gibt Peking Einfluss darauf, was diese Systeme sagen dürfen – verpackt in derselben Sprache des Nutzerschutzes. Beide Aspekte sind real, und Regierungen, die dieses Experiment beobachten, werden entscheiden müssen, welche Teile sie übernehmen wollen. Pan Helin, Mitglied des MIIT-Expertenausschusses, legte der „South China Morning Post“ die offizielle Haltung klar dar und erklärte, dass „die derzeitigen Agenten noch nicht ausgereift sind“, wobei er die Politik auf Sicherheit und Standardisierung ausrichtete.

Vorerst haben die Unternehmen den sichersten verfügbaren Weg eingeschlagen, nämlich die Komponenten zu deaktivieren und später auszuarbeiten, wie eine konforme Version aussehen könnte.

Siehe auch: Meta überarbeitet Richtlinien für KI-Chatbots aufgrund von Bedenken hinsichtlich der Kindersicherheit

Möchten Sie mehr über KI und Big Data von Branchenführern erfahren? Besuchen Sie die AI & Big Data Expo in Amsterdam, Kalifornien und London. Diese umfassende Veranstaltung ist Teil der TechEx und findet parallel zu anderen führenden Technologieveranstaltungen statt, darunter die Cyber Security & Cloud Expo. Klicken Sie hier für weitere Informationen.

AI News wird von TechForge Media bereitgestellt. Entdecken Sie hier weitere bevorstehende Veranstaltungen und Webinare zum Thema Unternehmenstechnologie.