Anthropic führt angesichts steigender Risiken neue KI-Schutzmaßnahmen ein

Anthropic hat die Nutzungsrichtlinien für seinen KI-Chatbot Claude aktualisiert, um wachsenden Sicherheitsbedenken Rechnung zu tragen. Neben strengeren Cybersicherheitsregeln nennt das Unternehmen nun ausdrücklich Kategorien gefährlicher Waffen, die nicht mit Claude entwickelt werden dürfen.
In der offiziellen Ankündigung werden die Änderungen an den Waffenrichtlinien zwar nicht ausdrücklich hervorgehoben, ein Vergleich zwischen den alten und den neuen Nutzungsrichtlinien zeigt jedoch eine bedeutende Aktualisierung. Zuvor war es Anthropic weitgehend untersagt, Claude zu verwenden, um "Waffen, Sprengstoffe, gefährliche Materialien oder andere Systeme zu produzieren, zu modifizieren, zu entwerfen, zu vermarkten oder zu vertreiben, die dazu bestimmt sind, Menschen Schaden zuzufügen oder ihr Leben zu zerstören". Die überarbeitete Richtlinie erweitert dies, indem sie speziell die Entwicklung von Sprengstoffen mit hoher Sprengkraft sowie von biologischen, nuklearen, chemischen und radiologischen (CBRN) Waffen verbietet.
Im Mai führte Anthropic zeitgleich mit der Markteinführung seines neuen Modells Claude Opus 4 die Schutzmaßnahmen der "AI-Sicherheitsstufe 3" ein. Diese Sicherheitsvorkehrungen sollen das Modell widerstandsfähiger gegen Jailbreaking machen und verhindern, dass es zur Herstellung von CBRN-Waffen beiträgt.
In seiner Ankündigung erkennt Anthropic auch die Risiken an, die mit agentenbasierten KI-Tools wie Computer Use - das es Claude ermöglicht, den Computer eines Benutzers zu kontrollieren - und Claude Code - das Claude direkt in das Terminal eines Entwicklers integriert - verbunden sind. "Diese mächtigen Fähigkeiten bringen neue Risiken mit sich, einschließlich des Potenzials für skalierten Missbrauch, die Erstellung von Malware und Cyberangriffe", so das Unternehmen.
Siehe
- Anthropic lanciert neuen Claude-Dienst für Militär und Geheimdienste
- Google nimmt sein Versprechen zurück, keine KI-Waffen zu entwickeln
Das KI-Startup geht auf diese potenziellen Bedrohungen ein, indem es einen neuen Abschnitt mit dem Titel "Do Not Compromise Computer or Network Systems" (Computer- oder Netzwerksysteme nicht kompromittieren) in seine Nutzungsrichtlinien aufnimmt. Dieser Abschnitt enthält Regeln gegen die Verwendung von Claude, um Schwachstellen zu entdecken oder auszunutzen, Malware zu erstellen oder zu verbreiten, Tools für Denial-of-Service-Angriffe zu entwickeln und ähnliche Aktivitäten.
Darüber hinaus lockert Anthropic seine Politik in Bezug auf politische Inhalte. Anstatt die Erstellung von Inhalten im Zusammenhang mit politischen Kampagnen und Lobbying zu verbieten, verbietet das Unternehmen nun nur noch die Verwendung von Claude für "Anwendungsfälle, die irreführend oder störend für demokratische Prozesse sind oder die Wähler- und Kampagnenausrichtung beinhalten". Anthropic hat außerdem klargestellt, dass seine Anforderungen für alle "risikoreichen" Anwendungsfälle - die gelten, wenn Claude verwendet wird, um Empfehlungen an Einzelpersonen oder Kunden zu geben - nur für Szenarien relevant sind, die sich an Verbraucher richten, und nicht für die interne geschäftliche Nutzung.
Verwandter Artikel
Ollie setzt auf Datenschutz, um das Rennen um den KI-Assistenten zu gewinnen
Um wirklich hilfreich zu sein, muss ein KI-Assistent seinen Nutzer genau verstehen. Ollie, ein für den Alltag konzipierter persönlicher Assistent, basiert auf der Prämisse, dass dies nicht mit der Wei
So wird die „AI LIVE: London“ KI und industrielle Automatisierung beleuchten
Auf dem Gipfel werden Führungskräfte der obersten Ebene aus aller Welt zusammenkommen, um dringende Herausforderungen in globalen Branchen zu erörtern – von KI-getriebenen Umbrüchen bis hin zu wirtsch
Anthropic tritt in den Markt für KI-gestützte Rechtstechnologie ein, während der Wettbewerb zunimmt
Anthropic hat am Dienstag eine Reihe neuer Chatbot-Funktionen vorgestellt, die darauf abzielen, Rechtsanwaltskanzleien automatisierte Unterstützung zu bieten. Diese Verbesserungen erweitern die bereits zu Jahresbeginn eingeführte, mandantenspezifisch
Empfehlungen zu verwandten Spezialthemen
Kommentare (1)
Les mises à jour de politique me rappellent que les IA comme Claude sont des outils qui peuvent avoir des utilisations à double tranchant. 🔧 C'est rassurant de voir les entreprises prendre des initiatives, mais une réglementation internationale ne serait-elle pas plus efficace contre certains dangers ? En tout cas, voilà un pas dans la bonne direction.

Anthropic hat die Nutzungsrichtlinien für seinen KI-Chatbot Claude aktualisiert, um wachsenden Sicherheitsbedenken Rechnung zu tragen. Neben strengeren Cybersicherheitsregeln nennt das Unternehmen nun ausdrücklich Kategorien gefährlicher Waffen, die nicht mit Claude entwickelt werden dürfen.
In der offiziellen Ankündigung werden die Änderungen an den Waffenrichtlinien zwar nicht ausdrücklich hervorgehoben, ein Vergleich zwischen den alten und den neuen Nutzungsrichtlinien zeigt jedoch eine bedeutende Aktualisierung. Zuvor war es Anthropic weitgehend untersagt, Claude zu verwenden, um "Waffen, Sprengstoffe, gefährliche Materialien oder andere Systeme zu produzieren, zu modifizieren, zu entwerfen, zu vermarkten oder zu vertreiben, die dazu bestimmt sind, Menschen Schaden zuzufügen oder ihr Leben zu zerstören". Die überarbeitete Richtlinie erweitert dies, indem sie speziell die Entwicklung von Sprengstoffen mit hoher Sprengkraft sowie von biologischen, nuklearen, chemischen und radiologischen (CBRN) Waffen verbietet.
Im Mai führte Anthropic zeitgleich mit der Markteinführung seines neuen Modells Claude Opus 4 die Schutzmaßnahmen der "AI-Sicherheitsstufe 3" ein. Diese Sicherheitsvorkehrungen sollen das Modell widerstandsfähiger gegen Jailbreaking machen und verhindern, dass es zur Herstellung von CBRN-Waffen beiträgt.
In seiner Ankündigung erkennt Anthropic auch die Risiken an, die mit agentenbasierten KI-Tools wie Computer Use - das es Claude ermöglicht, den Computer eines Benutzers zu kontrollieren - und Claude Code - das Claude direkt in das Terminal eines Entwicklers integriert - verbunden sind. "Diese mächtigen Fähigkeiten bringen neue Risiken mit sich, einschließlich des Potenzials für skalierten Missbrauch, die Erstellung von Malware und Cyberangriffe", so das Unternehmen.
Siehe
- Anthropic lanciert neuen Claude-Dienst für Militär und Geheimdienste
- Google nimmt sein Versprechen zurück, keine KI-Waffen zu entwickeln
Das KI-Startup geht auf diese potenziellen Bedrohungen ein, indem es einen neuen Abschnitt mit dem Titel "Do Not Compromise Computer or Network Systems" (Computer- oder Netzwerksysteme nicht kompromittieren) in seine Nutzungsrichtlinien aufnimmt. Dieser Abschnitt enthält Regeln gegen die Verwendung von Claude, um Schwachstellen zu entdecken oder auszunutzen, Malware zu erstellen oder zu verbreiten, Tools für Denial-of-Service-Angriffe zu entwickeln und ähnliche Aktivitäten.
Darüber hinaus lockert Anthropic seine Politik in Bezug auf politische Inhalte. Anstatt die Erstellung von Inhalten im Zusammenhang mit politischen Kampagnen und Lobbying zu verbieten, verbietet das Unternehmen nun nur noch die Verwendung von Claude für "Anwendungsfälle, die irreführend oder störend für demokratische Prozesse sind oder die Wähler- und Kampagnenausrichtung beinhalten". Anthropic hat außerdem klargestellt, dass seine Anforderungen für alle "risikoreichen" Anwendungsfälle - die gelten, wenn Claude verwendet wird, um Empfehlungen an Einzelpersonen oder Kunden zu geben - nur für Szenarien relevant sind, die sich an Verbraucher richten, und nicht für die interne geschäftliche Nutzung.
Ollie setzt auf Datenschutz, um das Rennen um den KI-Assistenten zu gewinnen
Um wirklich hilfreich zu sein, muss ein KI-Assistent seinen Nutzer genau verstehen. Ollie, ein für den Alltag konzipierter persönlicher Assistent, basiert auf der Prämisse, dass dies nicht mit der Wei
So wird die „AI LIVE: London“ KI und industrielle Automatisierung beleuchten
Auf dem Gipfel werden Führungskräfte der obersten Ebene aus aller Welt zusammenkommen, um dringende Herausforderungen in globalen Branchen zu erörtern – von KI-getriebenen Umbrüchen bis hin zu wirtsch
Anthropic tritt in den Markt für KI-gestützte Rechtstechnologie ein, während der Wettbewerb zunimmt
Anthropic hat am Dienstag eine Reihe neuer Chatbot-Funktionen vorgestellt, die darauf abzielen, Rechtsanwaltskanzleien automatisierte Unterstützung zu bieten. Diese Verbesserungen erweitern die bereits zu Jahresbeginn eingeführte, mandantenspezifisch
Les mises à jour de politique me rappellent que les IA comme Claude sont des outils qui peuvent avoir des utilisations à double tranchant. 🔧 C'est rassurant de voir les entreprises prendre des initiatives, mais une réglementation internationale ne serait-elle pas plus efficace contre certains dangers ? En tout cas, voilà un pas dans la bonne direction.





Heim






