OpenAI 在开发过程中整合了用于保障青少年安全的开源工具

周二,OpenAI宣布发布了一套提示词,旨在帮助开发者让他们的应用程序对青少年更加安全。该人工智能实验室表示,这些青少年安全政策与其开放权重安全模型gpt-oss-safeguard兼容。
开发者无需从头开始研究如何提升青少年AI安全,只需使用这些提示词即可强化其应用程序。这些提示词针对的关注点包括:血腥暴力及色情内容、有害的身体形象观念与行为、高风险活动与挑战、涉及浪漫或暴力的角色扮演场景,以及受年龄限制的产品和服务。
这些安全政策以提示词的形式设计,确保其不仅能与 GPT-OSS-Safeguard 模型配合使用,还能轻松适配其他模型,尽管在 OpenAI 的自有生态系统中效果可能最为显著。
OpenAI表示,其与AI安全组织Common Sense Media和everyone.ai合作开发了这些提示词。
“这些基于提示词的政策有助于在整个生态系统中建立有意义的安全基准。由于它们是开源的,因此可以随着时间的推移进行调整和增强,”Common Sense Media 人工智能与数字评估主管罗比·托尼(Robbie Torney)在一份声明中表示。
OpenAI 在其博客中指出,包括经验丰富的团队在内的开发者,往往难以将安全目标转化为精确、可操作的规则。
“这可能导致保护漏洞、执行不一致或过滤范围过广,”该公司解释道。“清晰、明确的政策是有效安全系统的重要基础。”
OpenAI承认,这些政策并非解决AI安全这一复杂挑战的完整方案。但它们是在此前工作基础上构建的,包括家长控制和年龄预测等产品级安全措施。去年,OpenAI更新了其大型语言模型指南(即Model Spec),以规范其AI模型应如何与18岁以下用户互动。
不过,OpenAI自身也并非毫无瑕疵。该公司正面临多起诉讼,原告均为因过度使用ChatGPT而自杀身亡者的家属。这种有害的互动往往发生在用户绕过聊天机器人的安全防护之后,且没有任何模型的防护机制是完全无懈可击的。尽管如此,这些新政策仍代表着向前迈出的一步,特别是在协助独立开发者方面。
相关文章
根据 Ramp 的数据,Anthropic 的企业客户数量已超过 OpenAI
Anthropic 首次超越 OpenAI,成为经验证的商业客户最多的公司,这是金融科技公司 Ramp 本月发布的《AI 指数》所显示的结果。Ramp 客户支出数据显示,34.4% 的参与企业支付 Anthropic 服务费用,超过所有其他 AI 实验室,而 32.3% 的企业支付 OpenAI 费用。这标志着 Anthropic 首次占据领先地位。“Anthropic 已经在金融、科技、专业服务等高采用率群体中处于领先地位,”Ramp 经济学家 Ara Kharazian 告诉 Tech
随着当地人开始为数字服务付费,印度正从应用下载转向变现
印度曾是全球最大的应用下载中心,却一直难以实现盈利。随着用户越来越多地投资于人工智能、娱乐和高端数字服务,这一局面正在发生转变。据Sensor Tower数据显示,第二季度印度用户在移动应用上的消费额达到创纪录的3.45亿美元,同比增长35%。 这家数据分析公司指出,当前的增长主要由生成式人工智能、流媒体和生产力工具驱动,这反映出印度用户越来越愿意为数字订阅服务付费,而非仅依赖游戏。这一创纪录的季
OpenAI面临各州总检察长的调查
据报道,一群州总检察长已对OpenAI展开调查。据《华尔街日报》报道,该公司于上周五收到了纽约州总检察长发出的传票。该传票要求提供涉及多个方面的文件,包括广告做法、用户参与度和留存率、模型阿谀奉承现象、消费者和健康数据的处理,以及对未成年人和老年人的对待方式。TechCrunch 已联系 OpenAI 和纽约州总检察长办公室寻求置评。该公司一位发言人告诉《华尔街日报》,OpenAI 正配合此次调查
相关专题推荐
评论 (1)
0/500

周二,OpenAI宣布发布了一套提示词,旨在帮助开发者让他们的应用程序对青少年更加安全。该人工智能实验室表示,这些青少年安全政策与其开放权重安全模型gpt-oss-safeguard兼容。
开发者无需从头开始研究如何提升青少年AI安全,只需使用这些提示词即可强化其应用程序。这些提示词针对的关注点包括:血腥暴力及色情内容、有害的身体形象观念与行为、高风险活动与挑战、涉及浪漫或暴力的角色扮演场景,以及受年龄限制的产品和服务。
这些安全政策以提示词的形式设计,确保其不仅能与 GPT-OSS-Safeguard 模型配合使用,还能轻松适配其他模型,尽管在 OpenAI 的自有生态系统中效果可能最为显著。
OpenAI表示,其与AI安全组织Common Sense Media和everyone.ai合作开发了这些提示词。
“这些基于提示词的政策有助于在整个生态系统中建立有意义的安全基准。由于它们是开源的,因此可以随着时间的推移进行调整和增强,”Common Sense Media 人工智能与数字评估主管罗比·托尼(Robbie Torney)在一份声明中表示。
OpenAI 在其博客中指出,包括经验丰富的团队在内的开发者,往往难以将安全目标转化为精确、可操作的规则。
“这可能导致保护漏洞、执行不一致或过滤范围过广,”该公司解释道。“清晰、明确的政策是有效安全系统的重要基础。”
OpenAI承认,这些政策并非解决AI安全这一复杂挑战的完整方案。但它们是在此前工作基础上构建的,包括家长控制和年龄预测等产品级安全措施。去年,OpenAI更新了其大型语言模型指南(即Model Spec),以规范其AI模型应如何与18岁以下用户互动。
不过,OpenAI自身也并非毫无瑕疵。该公司正面临多起诉讼,原告均为因过度使用ChatGPT而自杀身亡者的家属。这种有害的互动往往发生在用户绕过聊天机器人的安全防护之后,且没有任何模型的防护机制是完全无懈可击的。尽管如此,这些新政策仍代表着向前迈出的一步,特别是在协助独立开发者方面。
根据 Ramp 的数据,Anthropic 的企业客户数量已超过 OpenAI
Anthropic 首次超越 OpenAI,成为经验证的商业客户最多的公司,这是金融科技公司 Ramp 本月发布的《AI 指数》所显示的结果。Ramp 客户支出数据显示,34.4% 的参与企业支付 Anthropic 服务费用,超过所有其他 AI 实验室,而 32.3% 的企业支付 OpenAI 费用。这标志着 Anthropic 首次占据领先地位。“Anthropic 已经在金融、科技、专业服务等高采用率群体中处于领先地位,”Ramp 经济学家 Ara Kharazian 告诉 Tech
随着当地人开始为数字服务付费,印度正从应用下载转向变现
印度曾是全球最大的应用下载中心,却一直难以实现盈利。随着用户越来越多地投资于人工智能、娱乐和高端数字服务,这一局面正在发生转变。据Sensor Tower数据显示,第二季度印度用户在移动应用上的消费额达到创纪录的3.45亿美元,同比增长35%。 这家数据分析公司指出,当前的增长主要由生成式人工智能、流媒体和生产力工具驱动,这反映出印度用户越来越愿意为数字订阅服务付费,而非仅依赖游戏。这一创纪录的季
OpenAI面临各州总检察长的调查
据报道,一群州总检察长已对OpenAI展开调查。据《华尔街日报》报道,该公司于上周五收到了纽约州总检察长发出的传票。该传票要求提供涉及多个方面的文件,包括广告做法、用户参与度和留存率、模型阿谀奉承现象、消费者和健康数据的处理,以及对未成年人和老年人的对待方式。TechCrunch 已联系 OpenAI 和纽约州总检察长办公室寻求置评。该公司一位发言人告诉《华尔街日报》,OpenAI 正配合此次调查





首页






