OpenAI 在開發過程中整合了用於保障青少年安全的開源工具

週二,OpenAI 宣布推出一套提示語,旨在協助開發者讓其應用程式對青少年更安全。該人工智慧實驗室表示,這些青少年安全政策與其開放權重安全模型 gpt-oss-safeguard 相容。
開發者無需從頭開始研究如何提升青少年的人工智慧安全,而是可以利用這些提示來強化其應用程式。這些提示針對的關注點包括:血腥暴力與色情內容、有害的身體形象理想與行為、高風險活動與挑戰、浪漫或暴力的角色扮演情境,以及受年齡限制的產品與服務。
這些安全政策以提示詞形式設計,確保其不僅能與 GPT-OSS-Safeguard 模型無縫整合,更能輕鬆應用於其他模型,儘管在 OpenAI 的自有生態系統中效果可能最為顯著。
OpenAI 表示,其與 AI 安全組織 Common Sense Media 及 everyone.ai 合作開發了這些提示語。
「這些基於提示詞的政策有助於在整個生態系統中建立有意義的安全基準。由於它們是開源的,因此可以隨著時間推移進行調整和增強,」Common Sense Media 的 AI 與數位評估主管 Robbie Torney 在一份聲明中表示。
OpenAI 在其部落格中指出,開發者(包括經驗豐富的團隊)經常難以將安全目標轉化為精確且可執行的規則。
「這可能導致防護漏洞、執法不一致,或過濾範圍過於寬泛,」該公司解釋道。「清晰且定義明確的政策,是有效安全系統的關鍵基礎。」
OpenAI 承認,這些政策並非解決 AI 安全複雜挑戰的完整方案。然而,它們是在先前努力的基礎上建立的,包括家長控制和年齡預測等產品層級的防護措施。去年,OpenAI 更新了其大型語言模型指南(稱為 Model Spec),以規範其 AI 模型應如何與 18 歲以下使用者互動。
然而,OpenAI 自身也並非毫無瑕疵。該公司正面臨多起訴訟,原告皆為因過度使用 ChatGPT 而自殺身亡者的家屬。這類有害的互動往往發生在用戶繞過聊天機器人的安全防護機制之後,且沒有任何模型的防護措施是完全無懈可擊的。儘管如此,這些新政策仍代表著向前邁進的一步,特別是在協助獨立開發者方面。
相關文章
根據 Ramp 的資料,Anthropic 的企業客戶數量已超過 OpenAI
Anthropic 首次超越 OpenAI,成為經驗證的商業客戶最多的公司,這是金融科技公司 Ramp 本月釋出的《AI 指數》所顯示的結果。Ramp 客戶支出資料顯示,34.4% 的參與企業支付 Anthropic 服務費用,超過所有其他 AI 實驗室,而 32.3% 的企業支付 OpenAI 費用。這標誌著 Anthropic 首次佔據領先地位。“Anthropic 已經在金融、科技、專業服務等高採用率群體中處於領先地位,”Ramp 經濟學家 Ara Kharazian 告訴 Tech
隨著當地民眾開始為數位服務付費,印度已從應用程式下載轉向變現
印度曾是全球最大的應用程式下載中心,卻苦於難以創造營收。隨著用戶日益投入人工智慧、娛樂及高級數位服務,這種局面正在改變。根據 Sensor Tower 的數據,印度消費者在行動應用程式上的支出於第二季創下 3.45 億美元的歷史新高,較去年同期增長 35%。 這家分析機構指出,當前增長主要由生成式人工智慧、串流媒體及生產力工具驅動,反映出印度用戶越來越願意為數位訂閱服務付費,而非僅依賴遊戲。這項創
OpenAI 面臨各州總檢察長的調查
據報導,一群州檢察長已針對 OpenAI 展開調查。據《華爾街日報》報導,該公司於上週五收到紐約州檢察長發出的傳票。該傳票要求提供涉及多項議題的文件,包括廣告做法、用戶參與度與留存率、模型阿諛奉承現象、消費者與健康資料處理,以及對未成年人和長者的對待方式。TechCrunch 已聯繫 OpenAI 及紐約州檢察長辦公室尋求置評。該公司發言人向《華爾街日報》表示,OpenAI 正配合此次調查。「人工
相關專題推薦
評論 (1)
0/500

週二,OpenAI 宣布推出一套提示語,旨在協助開發者讓其應用程式對青少年更安全。該人工智慧實驗室表示,這些青少年安全政策與其開放權重安全模型 gpt-oss-safeguard 相容。
開發者無需從頭開始研究如何提升青少年的人工智慧安全,而是可以利用這些提示來強化其應用程式。這些提示針對的關注點包括:血腥暴力與色情內容、有害的身體形象理想與行為、高風險活動與挑戰、浪漫或暴力的角色扮演情境,以及受年齡限制的產品與服務。
這些安全政策以提示詞形式設計,確保其不僅能與 GPT-OSS-Safeguard 模型無縫整合,更能輕鬆應用於其他模型,儘管在 OpenAI 的自有生態系統中效果可能最為顯著。
OpenAI 表示,其與 AI 安全組織 Common Sense Media 及 everyone.ai 合作開發了這些提示語。
「這些基於提示詞的政策有助於在整個生態系統中建立有意義的安全基準。由於它們是開源的,因此可以隨著時間推移進行調整和增強,」Common Sense Media 的 AI 與數位評估主管 Robbie Torney 在一份聲明中表示。
OpenAI 在其部落格中指出,開發者(包括經驗豐富的團隊)經常難以將安全目標轉化為精確且可執行的規則。
「這可能導致防護漏洞、執法不一致,或過濾範圍過於寬泛,」該公司解釋道。「清晰且定義明確的政策,是有效安全系統的關鍵基礎。」
OpenAI 承認,這些政策並非解決 AI 安全複雜挑戰的完整方案。然而,它們是在先前努力的基礎上建立的,包括家長控制和年齡預測等產品層級的防護措施。去年,OpenAI 更新了其大型語言模型指南(稱為 Model Spec),以規範其 AI 模型應如何與 18 歲以下使用者互動。
然而,OpenAI 自身也並非毫無瑕疵。該公司正面臨多起訴訟,原告皆為因過度使用 ChatGPT 而自殺身亡者的家屬。這類有害的互動往往發生在用戶繞過聊天機器人的安全防護機制之後,且沒有任何模型的防護措施是完全無懈可擊的。儘管如此,這些新政策仍代表著向前邁進的一步,特別是在協助獨立開發者方面。
根據 Ramp 的資料,Anthropic 的企業客戶數量已超過 OpenAI
Anthropic 首次超越 OpenAI,成為經驗證的商業客戶最多的公司,這是金融科技公司 Ramp 本月釋出的《AI 指數》所顯示的結果。Ramp 客戶支出資料顯示,34.4% 的參與企業支付 Anthropic 服務費用,超過所有其他 AI 實驗室,而 32.3% 的企業支付 OpenAI 費用。這標誌著 Anthropic 首次佔據領先地位。“Anthropic 已經在金融、科技、專業服務等高採用率群體中處於領先地位,”Ramp 經濟學家 Ara Kharazian 告訴 Tech
隨著當地民眾開始為數位服務付費,印度已從應用程式下載轉向變現
印度曾是全球最大的應用程式下載中心,卻苦於難以創造營收。隨著用戶日益投入人工智慧、娛樂及高級數位服務,這種局面正在改變。根據 Sensor Tower 的數據,印度消費者在行動應用程式上的支出於第二季創下 3.45 億美元的歷史新高,較去年同期增長 35%。 這家分析機構指出,當前增長主要由生成式人工智慧、串流媒體及生產力工具驅動,反映出印度用戶越來越願意為數位訂閱服務付費,而非僅依賴遊戲。這項創
OpenAI 面臨各州總檢察長的調查
據報導,一群州檢察長已針對 OpenAI 展開調查。據《華爾街日報》報導,該公司於上週五收到紐約州檢察長發出的傳票。該傳票要求提供涉及多項議題的文件,包括廣告做法、用戶參與度與留存率、模型阿諛奉承現象、消費者與健康資料處理,以及對未成年人和長者的對待方式。TechCrunch 已聯繫 OpenAI 及紐約州檢察長辦公室尋求置評。該公司發言人向《華爾街日報》表示,OpenAI 正配合此次調查。「人工





首頁






