Heim
OpenAI integriert Open-Source-Tools für die Sicherheit von Jugendlichen in die Entwicklung

Am Dienstag kündigte OpenAI die Veröffentlichung einer Reihe von Vorgaben an, die Entwicklern dabei helfen sollen, ihre Anwendungen für Jugendliche sicherer zu gestalten. Das KI-Labor erklärte, dass diese Richtlinien zur Sicherheit von Jugendlichen mit seinem offenen Sicherheitsmodell „gpt-oss-safeguard“ kompatibel sind.
Anstatt bei Null anzufangen, um zu ermitteln, wie die KI-Sicherheit für Jugendliche verbessert werden kann, können Entwickler diese Prompts nutzen, um ihre Anwendungen zu stärken. Sie befassen sich mit Themen wie grafischer Gewalt und sexuellen Inhalten, schädlichen Körperbildidealen und Verhaltensweisen, riskanten Aktivitäten und Challenges, romantischen oder gewalttätigen Rollenspielszenarien sowie altersbeschränkten Produkten und Dienstleistungen.
Diese Sicherheitsrichtlinien sind als Prompts gestaltet, wodurch sichergestellt wird, dass sie problemlos mit anderen Modellen als „gpt-oss-safeguard“ funktionieren, auch wenn sie innerhalb des eigenen Ökosystems von OpenAI wahrscheinlich am effektivsten sind.
OpenAI gab an, bei der Entwicklung dieser Prompts mit den KI-Sicherheitsorganisationen Common Sense Media und everyone.ai zusammengearbeitet zu haben.
„Diese promptbasierten Richtlinien tragen dazu bei, eine sinnvolle Sicherheitsbasis im gesamten Ökosystem zu schaffen. Da sie Open Source sind, können sie im Laufe der Zeit angepasst und verbessert werden“, sagte Robbie Torney, Leiter des Bereichs KI & Digitale Bewertungen bei Common Sense Media, in einer Erklärung.
In seinem Blog wies OpenAI darauf hin, dass es Entwicklern, einschließlich erfahrener Teams, häufig schwerfällt, Sicherheitsziele in präzise, umsetzbare Regeln zu übersetzen.
„Dies kann zu Schutzlücken, uneinheitlicher Durchsetzung oder zu weit gefassten Filterkriterien führen“, erklärte das Unternehmen. „Klare, genau definierte Richtlinien sind eine entscheidende Grundlage für wirksame Sicherheitssysteme.“
OpenAI räumt ein, dass diese Richtlinien keine vollständige Lösung für die komplexen Herausforderungen der KI-Sicherheit darstellen. Sie bauen jedoch auf früheren Bemühungen auf, darunter Sicherheitsvorkehrungen auf Produktebene wie Kindersicherungen und Altersvorhersagen. Im vergangenen Jahr aktualisierte OpenAI seine Richtlinien für große Sprachmodelle – bekannt als „Model Spec“ –, um zu regeln, wie seine KI-Modelle mit Nutzern unter 18 Jahren interagieren sollten.
OpenAI selbst hat jedoch keine makellose Bilanz vorzuweisen. Das Unternehmen sieht sich mit mehreren Klagen von Familienangehörigen konfrontiert, deren Angehörige nach exzessiver Nutzung von ChatGPT durch Selbstmord ums Leben kamen. Diese schädlichen Beziehungen entstehen oft, nachdem ein Nutzer die Sicherheitsvorkehrungen des Chatbots umgangen hat, und keine Modell-Sicherheitsvorkehrungen sind völlig undurchdringlich. Dennoch stellen diese neuen Richtlinien einen Schritt nach vorne dar, insbesondere bei der Unterstützung unabhängiger Entwickler.
Verwandter Artikel
Anthropic hat laut Ramp-Daten mehr Geschäftskunden als OpenAI.
Anthropic hat OpenAI laut dem diesmonatlichen AI-Index des Fintech-Unternehmens Ramp erstmals bei den verifizierten Geschäftskunden übertroffen.Daten aus den Kundenkosten von Ramp zeigen, dass 34,4 % der teilnehmenden Unternehmen für Anthropic-Diens
Indien wechselt von App-Downloads zu Monetarisierung, da Einheimische beginnen, für digitale Dienste zu bezahlen
Indien war einst das weltweit größte Download-Portal für Apps, hatte jedoch Schwierigkeiten, Einnahmen zu generieren. Diese Dynamik ändert sich, da Nutzer zunehmend in KI, Unterhaltung und digitale Premium-Dienste investieren.Die Ausgaben der Verbrau
OpenAI sieht sich einer Untersuchung durch die Generalstaatsanwälte der Bundesstaaten gegenüber
Eine Gruppe von Generalstaatsanwälten hat Berichten zufolge eine Untersuchung gegen OpenAI eingeleitet.Laut dem „Wall Street Journal“ erhielt das Unternehmen am Freitag eine Vorladung vom Generalstaat
Empfehlungen zu verwandten Spezialthemen
Kommentare (1)

Am Dienstag kündigte OpenAI die Veröffentlichung einer Reihe von Vorgaben an, die Entwicklern dabei helfen sollen, ihre Anwendungen für Jugendliche sicherer zu gestalten. Das KI-Labor erklärte, dass diese Richtlinien zur Sicherheit von Jugendlichen mit seinem offenen Sicherheitsmodell „gpt-oss-safeguard“ kompatibel sind.
Anstatt bei Null anzufangen, um zu ermitteln, wie die KI-Sicherheit für Jugendliche verbessert werden kann, können Entwickler diese Prompts nutzen, um ihre Anwendungen zu stärken. Sie befassen sich mit Themen wie grafischer Gewalt und sexuellen Inhalten, schädlichen Körperbildidealen und Verhaltensweisen, riskanten Aktivitäten und Challenges, romantischen oder gewalttätigen Rollenspielszenarien sowie altersbeschränkten Produkten und Dienstleistungen.
Diese Sicherheitsrichtlinien sind als Prompts gestaltet, wodurch sichergestellt wird, dass sie problemlos mit anderen Modellen als „gpt-oss-safeguard“ funktionieren, auch wenn sie innerhalb des eigenen Ökosystems von OpenAI wahrscheinlich am effektivsten sind.
OpenAI gab an, bei der Entwicklung dieser Prompts mit den KI-Sicherheitsorganisationen Common Sense Media und everyone.ai zusammengearbeitet zu haben.
„Diese promptbasierten Richtlinien tragen dazu bei, eine sinnvolle Sicherheitsbasis im gesamten Ökosystem zu schaffen. Da sie Open Source sind, können sie im Laufe der Zeit angepasst und verbessert werden“, sagte Robbie Torney, Leiter des Bereichs KI & Digitale Bewertungen bei Common Sense Media, in einer Erklärung.
In seinem Blog wies OpenAI darauf hin, dass es Entwicklern, einschließlich erfahrener Teams, häufig schwerfällt, Sicherheitsziele in präzise, umsetzbare Regeln zu übersetzen.
„Dies kann zu Schutzlücken, uneinheitlicher Durchsetzung oder zu weit gefassten Filterkriterien führen“, erklärte das Unternehmen. „Klare, genau definierte Richtlinien sind eine entscheidende Grundlage für wirksame Sicherheitssysteme.“
OpenAI räumt ein, dass diese Richtlinien keine vollständige Lösung für die komplexen Herausforderungen der KI-Sicherheit darstellen. Sie bauen jedoch auf früheren Bemühungen auf, darunter Sicherheitsvorkehrungen auf Produktebene wie Kindersicherungen und Altersvorhersagen. Im vergangenen Jahr aktualisierte OpenAI seine Richtlinien für große Sprachmodelle – bekannt als „Model Spec“ –, um zu regeln, wie seine KI-Modelle mit Nutzern unter 18 Jahren interagieren sollten.
OpenAI selbst hat jedoch keine makellose Bilanz vorzuweisen. Das Unternehmen sieht sich mit mehreren Klagen von Familienangehörigen konfrontiert, deren Angehörige nach exzessiver Nutzung von ChatGPT durch Selbstmord ums Leben kamen. Diese schädlichen Beziehungen entstehen oft, nachdem ein Nutzer die Sicherheitsvorkehrungen des Chatbots umgangen hat, und keine Modell-Sicherheitsvorkehrungen sind völlig undurchdringlich. Dennoch stellen diese neuen Richtlinien einen Schritt nach vorne dar, insbesondere bei der Unterstützung unabhängiger Entwickler.
Anthropic hat laut Ramp-Daten mehr Geschäftskunden als OpenAI.
Anthropic hat OpenAI laut dem diesmonatlichen AI-Index des Fintech-Unternehmens Ramp erstmals bei den verifizierten Geschäftskunden übertroffen.Daten aus den Kundenkosten von Ramp zeigen, dass 34,4 % der teilnehmenden Unternehmen für Anthropic-Diens
Indien wechselt von App-Downloads zu Monetarisierung, da Einheimische beginnen, für digitale Dienste zu bezahlen
Indien war einst das weltweit größte Download-Portal für Apps, hatte jedoch Schwierigkeiten, Einnahmen zu generieren. Diese Dynamik ändert sich, da Nutzer zunehmend in KI, Unterhaltung und digitale Premium-Dienste investieren.Die Ausgaben der Verbrau
OpenAI sieht sich einer Untersuchung durch die Generalstaatsanwälte der Bundesstaaten gegenüber
Eine Gruppe von Generalstaatsanwälten hat Berichten zufolge eine Untersuchung gegen OpenAI eingeleitet.Laut dem „Wall Street Journal“ erhielt das Unternehmen am Freitag eine Vorladung vom Generalstaat











