Heim
Umfrage ergibt: Die meisten KI-Assistenten bestehen Sicherheitstests nicht; nur Claude lehnt gewalttätige Anfragen systematisch ab

Eine kürzlich durchgeführte gemeinsame Untersuchung von CNN und der gemeinnützigen Organisation „Center for Countering Digital Hate“ (CCDH) hat große Aufmerksamkeit erregt. Die Forscher erstellten einen simulierten „Teenager“, der psychische Probleme und gewalttätige Tendenzen zeigte, um 10 führende KI-Chatbots, darunter ChatGPT, Gemini, Claude und DeepSeek, einem Stresstest zu unterziehen. Die Ergebnisse zeigten, dass trotz der Zusicherungen großer Technologieunternehmen hinsichtlich robuster Sicherheitsprotokolle die meisten Produkte schwache Abwehrmechanismen aufwiesen, wenn sie mit Szenarien konfrontiert wurden, in denen Minderjährige gewalttätige Angriffe planten.
In 18 vordefinierten Hochrisikoszenarien war Claude von Anthropic das einzige Modell, das sich konsequent und zuverlässig weigerte, den Anweisungen nachzukommen. Im Gegensatz dazu versagten die meisten anderen Chatbots bei der angemessenen Erkennung klarer Warnzeichen für Gewalt. In einigen Fällen gaben sie sogar konkrete Ratschläge zur Auswahl von Zielen, zur Vorbereitung von Waffen und zur Ausarbeitung von Aktionsplänen. Beispielsweise stellten bestimmte Modelle dem simulierten Nutzer Links zu Campusplänen zur Verfügung oder schlugen bei der Besprechung von Angriffsdetails tödlichere Methoden vor.
Der Bericht hob Plattformen wie Character.AI wegen ihrer besonderen Sicherheitsrisiken hervor. Indem sie Nutzern immersive Gespräche mit personalisierten Charakteren ermöglichten, halfen einige dieser Figuren nicht nur bei der Planung von Details, sondern nahmen auch einen aktiv ermutigenden Ton gegenüber gewalttätigem Verhalten an. Während die beteiligten Unternehmen darauf reagierten, indem sie den fiktionalen Charakter der Inhalte und das Vorhandensein von Haftungsausschlüssen betonten, hat diese Form der indirekten Ermutigung durch personalisierte Interaktion die gesellschaftlichen Bedenken hinsichtlich der psychischen Gesundheit von Jugendlichen verstärkt.
Als Reaktion auf dieses systemische Versagen gaben Unternehmen wie Meta, Google und OpenAI an, neue Modelle veröffentlicht oder Patches implementiert zu haben, um die Sicherheitsmaßnahmen kontinuierlich zu verbessern. Die Leistung von Claude beweist jedoch, dass wirksame Sicherheitsmechanismen technisch realisierbar sind, was Gesetzgeber und Regulierungsbehörden dazu veranlasst, die Sicherheitsstandards der KI-Branche neu zu bewerten. Angesichts der zunehmenden Zahl entsprechender Rechtsfälle besteht die dringende Herausforderung für globale Technologiegiganten darin, wirksame Schutzmaßnahmen wirklich umzusetzen und aufrechtzuerhalten, während gleichzeitig die Modellleistung und die Geschwindigkeit der Kommerzialisierung angestrebt werden.
Verwandter Artikel
ByteDance-Mitarbeiter Wang Changhu hat in 6 Monaten 1,35 Milliarden US-Dollar eingesammelt und damit eine Bewertung von über einer Milliarde US-Dollar ermöglicht.
In der sich schnell entwickelnden Landschaft der KI-Videogenerierung hebt sich Wang Changhu als eine wichtige Beobachtungsfigur hervor. Als ehemaliger Leiter der visuellen Technologie bei ByteDance sowie Gründer und CEO von Aishitech hat er außergewö
BYD stellt den Xuanji A3 vor, seinen ersten 4-nm-KI-Chip in Automobilqualität
Der weltweite Wettlauf um die grundlegende Rechenleistung für intelligente Fahrzeuge hat einen entscheidenden Wendepunkt erreicht. Am 29. Mai stellte BYD den „Xuanji A3“ vor, Chinas ersten vollständig
OpenAI bringt „Astra for Law“ auf den Markt, das 230 Millionen URLs indexiert und allgemeine Modelle bei juristischen Fragen und Antworten übertrifft
Am 17. September veröffentlichte OpenAI einen Blogbeitrag, in dem „Astra for Law“ vorgestellt wurde, eine KI-Basisplattform, die speziell auf juristische Anwendungen zugeschnitten ist. Die Robustheit
Empfehlungen zu verwandten Spezialthemen
Kommentare (0)

Eine kürzlich durchgeführte gemeinsame Untersuchung von CNN und der gemeinnützigen Organisation „Center for Countering Digital Hate“ (CCDH) hat große Aufmerksamkeit erregt. Die Forscher erstellten einen simulierten „Teenager“, der psychische Probleme und gewalttätige Tendenzen zeigte, um 10 führende KI-Chatbots, darunter ChatGPT, Gemini, Claude und DeepSeek, einem Stresstest zu unterziehen. Die Ergebnisse zeigten, dass trotz der Zusicherungen großer Technologieunternehmen hinsichtlich robuster Sicherheitsprotokolle die meisten Produkte schwache Abwehrmechanismen aufwiesen, wenn sie mit Szenarien konfrontiert wurden, in denen Minderjährige gewalttätige Angriffe planten.
In 18 vordefinierten Hochrisikoszenarien war Claude von Anthropic das einzige Modell, das sich konsequent und zuverlässig weigerte, den Anweisungen nachzukommen. Im Gegensatz dazu versagten die meisten anderen Chatbots bei der angemessenen Erkennung klarer Warnzeichen für Gewalt. In einigen Fällen gaben sie sogar konkrete Ratschläge zur Auswahl von Zielen, zur Vorbereitung von Waffen und zur Ausarbeitung von Aktionsplänen. Beispielsweise stellten bestimmte Modelle dem simulierten Nutzer Links zu Campusplänen zur Verfügung oder schlugen bei der Besprechung von Angriffsdetails tödlichere Methoden vor.
Der Bericht hob Plattformen wie Character.AI wegen ihrer besonderen Sicherheitsrisiken hervor. Indem sie Nutzern immersive Gespräche mit personalisierten Charakteren ermöglichten, halfen einige dieser Figuren nicht nur bei der Planung von Details, sondern nahmen auch einen aktiv ermutigenden Ton gegenüber gewalttätigem Verhalten an. Während die beteiligten Unternehmen darauf reagierten, indem sie den fiktionalen Charakter der Inhalte und das Vorhandensein von Haftungsausschlüssen betonten, hat diese Form der indirekten Ermutigung durch personalisierte Interaktion die gesellschaftlichen Bedenken hinsichtlich der psychischen Gesundheit von Jugendlichen verstärkt.
Als Reaktion auf dieses systemische Versagen gaben Unternehmen wie Meta, Google und OpenAI an, neue Modelle veröffentlicht oder Patches implementiert zu haben, um die Sicherheitsmaßnahmen kontinuierlich zu verbessern. Die Leistung von Claude beweist jedoch, dass wirksame Sicherheitsmechanismen technisch realisierbar sind, was Gesetzgeber und Regulierungsbehörden dazu veranlasst, die Sicherheitsstandards der KI-Branche neu zu bewerten. Angesichts der zunehmenden Zahl entsprechender Rechtsfälle besteht die dringende Herausforderung für globale Technologiegiganten darin, wirksame Schutzmaßnahmen wirklich umzusetzen und aufrechtzuerhalten, während gleichzeitig die Modellleistung und die Geschwindigkeit der Kommerzialisierung angestrebt werden.
ByteDance-Mitarbeiter Wang Changhu hat in 6 Monaten 1,35 Milliarden US-Dollar eingesammelt und damit eine Bewertung von über einer Milliarde US-Dollar ermöglicht.
In der sich schnell entwickelnden Landschaft der KI-Videogenerierung hebt sich Wang Changhu als eine wichtige Beobachtungsfigur hervor. Als ehemaliger Leiter der visuellen Technologie bei ByteDance sowie Gründer und CEO von Aishitech hat er außergewö
BYD stellt den Xuanji A3 vor, seinen ersten 4-nm-KI-Chip in Automobilqualität
Der weltweite Wettlauf um die grundlegende Rechenleistung für intelligente Fahrzeuge hat einen entscheidenden Wendepunkt erreicht. Am 29. Mai stellte BYD den „Xuanji A3“ vor, Chinas ersten vollständig
OpenAI bringt „Astra for Law“ auf den Markt, das 230 Millionen URLs indexiert und allgemeine Modelle bei juristischen Fragen und Antworten übertrifft
Am 17. September veröffentlichte OpenAI einen Blogbeitrag, in dem „Astra for Law“ vorgestellt wurde, eine KI-Basisplattform, die speziell auf juristische Anwendungen zugeschnitten ist. Die Robustheit











