OpenAI, 청소년 보호를 위한 오픈소스 도구를 개발 과정에 통합

화요일, OpenAI는 개발자들이 청소년을 위한 애플리케이션의 안전성을 높일 수 있도록 돕기 위해 고안된 일련의 프롬프트를 공개했다고 발표했습니다. 이 AI 연구소는 이러한 청소년 안전 정책이 자사의 오픈 웨이트 안전 모델인 gpt-oss-safeguard와 호환된다고 밝혔습니다.
개발자들은 청소년을 위한 AI 안전성을 어떻게 개선할지 처음부터 고민할 필요 없이, 이 프롬프트를 활용해 애플리케이션을 강화할 수 있습니다. 이 프롬프트는 노골적인 폭력 및 성적 콘텐츠, 유해한 신체 이미지 이상과 행동, 위험한 활동 및 챌린지, 로맨틱하거나 폭력적인 역할극 시나리오, 연령 제한이 있는 제품 및 서비스와 같은 문제들을 다룹니다.
이 안전 정책들은 프롬프트 형태로 제작되어 'gpt-oss-safeguard' 이외의 모델에서도 쉽게 작동하도록 설계되었으나, OpenAI의 자체 생태계 내에서 가장 효과적일 것으로 보입니다.
OpenAI는 이러한 프롬프트를 개발하기 위해 AI 안전 단체인 Common Sense Media 및 everyone.ai와 협력했다고 밝혔습니다.
커먼 센스 미디어(Common Sense Media)의 AI 및 디지털 평가 책임자인 로비 토니(Robbie Torney)는 성명을 통해 "이러한 프롬프트 기반 정책은 생태계 전반에 걸쳐 의미 있는 안전 기준을 확립하는 데 도움이 됩니다. 오픈 소스이기 때문에 시간이 지남에 따라 조정하고 개선할 수 있습니다"라고 말했습니다.
OpenAI는 자사 블로그를 통해 노련한 팀을 포함한 개발자들이 안전 목표를 구체적이고 실행 가능한 규칙으로 전환하는 데 종종 어려움을 겪는다고 지적했다.
"이는 보호의 사각지대, 일관성 없는 적용, 또는 지나치게 광범위한 필터링으로 이어질 수 있습니다,"라고 회사는 설명했다. "명확하고 잘 정의된 정책은 효과적인 안전 시스템을 위한 핵심 기반입니다."
오픈AI는 이러한 정책이 AI 안전이라는 복잡한 과제에 대한 완벽한 해결책은 아니라는 점을 인정한다. 그러나 이 정책들은 자녀 보호 기능이나 연령 예측과 같은 제품 수준의 안전 장치 등 기존 노력을 기반으로 한다. 지난해 오픈AI는 18세 미만 사용자와 AI 모델이 어떻게 상호작용해야 하는지를 다루기 위해 대규모 언어 모델 가이드라인(일명 '모델 스펙')을 업데이트했다.
하지만 OpenAI 자체의 기록이 흠잡을 데 없는 것은 아닙니다. 이 회사는 ChatGPT를 과도하게 사용한 후 자살로 생을 마감한 이들의 유가족들로부터 여러 건의 소송을 당하고 있습니다. 이러한 유해한 관계는 종종 사용자가 챗봇의 안전 장치를 우회한 후에 발생하며, 어떤 모델의 안전 장치도 완전히 뚫리지 않는 것은 아닙니다. 그럼에도 불구하고, 이러한 새로운 정책들은 특히 독립 개발자들을 지원하는 측면에서 한 걸음 전진한 것입니다.
관련 기사
Ramp의 데이터에 따르면 Anthropic은 이제 OpenAI보다 더 많은 기업 고객을 보유하고 있습니다.
Anthropic은 이번 달 핀테크 기업 Ramp의 AI 인덱스에 따르면 검증된 비즈니스 고객 수에서 OpenAI를 처음으로 앞질렀다.Ramp의 고객 지출 데이터에 따르면, 참여 기업의 34.4%가 Anthropic 서비스에 대해 지불하고 있으며 이는 다른 모든 AI 연구소를 앞서는 수치이고, 32.3%는 OpenAI에 대해 지불한다.이는 Anthropic이 선두를 차지한 첫 번째 사례이다.“Anthropic은 이미 금융, 기술, 전문 서
인도가 앱 다운로드에서 수익화 단계로 전환하며 현지인들이 디지털 서비스에 대한 대금을 지불하기 시작함
인도는 한때 전 세계 앱 다운로드의 최상위 허브였으나 수익 창출에는 어려움을 겪었습니다. 그러나 사용자가 AI, 엔터테인먼트 및 프리미엄 디지털 서비스에 더 많이 투자하면서 이러한 역학이 변화하고 있습니다.Sensor Tower에 따르면 인도의 모바일 앱 소비 지출은 2분기 기록적인 3억 4,500만 달러를 기록하며 전년 대비 35% 증가했습니다. 이 정보 기업은 성장이 이제 생성형 AI, 스트리밍 및 생산성 도구들에 의해 주도되고 있으며, 이
OpenAI, 주 법무장관들의 조사 대상에 오르다
주 법무장관들로 구성된 그룹이 오픈에이아이(OpenAI)에 대한 조사를 시작했다고 보도된다.월스트리트저널(WSJ)에 따르면, 이 회사는 금요일 뉴욕주 법무장관으로부터 소환장을 받았다. 이 요청은 광고 관행, 사용자 참여 및 유지, 모델의 아첨 현상(sycophancy), 소비자 및 건강 데이터 처리, 미성년자와 고령자 대우를 포함한 다양한 이슈에 관한 문서를 포함한다.TechCrunch은 오픈에이아이와 뉴욕주 법무장관 사무소에 논평을 요청했
관련 특별 주제 추천
의견 (1)
0/500

화요일, OpenAI는 개발자들이 청소년을 위한 애플리케이션의 안전성을 높일 수 있도록 돕기 위해 고안된 일련의 프롬프트를 공개했다고 발표했습니다. 이 AI 연구소는 이러한 청소년 안전 정책이 자사의 오픈 웨이트 안전 모델인 gpt-oss-safeguard와 호환된다고 밝혔습니다.
개발자들은 청소년을 위한 AI 안전성을 어떻게 개선할지 처음부터 고민할 필요 없이, 이 프롬프트를 활용해 애플리케이션을 강화할 수 있습니다. 이 프롬프트는 노골적인 폭력 및 성적 콘텐츠, 유해한 신체 이미지 이상과 행동, 위험한 활동 및 챌린지, 로맨틱하거나 폭력적인 역할극 시나리오, 연령 제한이 있는 제품 및 서비스와 같은 문제들을 다룹니다.
이 안전 정책들은 프롬프트 형태로 제작되어 'gpt-oss-safeguard' 이외의 모델에서도 쉽게 작동하도록 설계되었으나, OpenAI의 자체 생태계 내에서 가장 효과적일 것으로 보입니다.
OpenAI는 이러한 프롬프트를 개발하기 위해 AI 안전 단체인 Common Sense Media 및 everyone.ai와 협력했다고 밝혔습니다.
커먼 센스 미디어(Common Sense Media)의 AI 및 디지털 평가 책임자인 로비 토니(Robbie Torney)는 성명을 통해 "이러한 프롬프트 기반 정책은 생태계 전반에 걸쳐 의미 있는 안전 기준을 확립하는 데 도움이 됩니다. 오픈 소스이기 때문에 시간이 지남에 따라 조정하고 개선할 수 있습니다"라고 말했습니다.
OpenAI는 자사 블로그를 통해 노련한 팀을 포함한 개발자들이 안전 목표를 구체적이고 실행 가능한 규칙으로 전환하는 데 종종 어려움을 겪는다고 지적했다.
"이는 보호의 사각지대, 일관성 없는 적용, 또는 지나치게 광범위한 필터링으로 이어질 수 있습니다,"라고 회사는 설명했다. "명확하고 잘 정의된 정책은 효과적인 안전 시스템을 위한 핵심 기반입니다."
오픈AI는 이러한 정책이 AI 안전이라는 복잡한 과제에 대한 완벽한 해결책은 아니라는 점을 인정한다. 그러나 이 정책들은 자녀 보호 기능이나 연령 예측과 같은 제품 수준의 안전 장치 등 기존 노력을 기반으로 한다. 지난해 오픈AI는 18세 미만 사용자와 AI 모델이 어떻게 상호작용해야 하는지를 다루기 위해 대규모 언어 모델 가이드라인(일명 '모델 스펙')을 업데이트했다.
하지만 OpenAI 자체의 기록이 흠잡을 데 없는 것은 아닙니다. 이 회사는 ChatGPT를 과도하게 사용한 후 자살로 생을 마감한 이들의 유가족들로부터 여러 건의 소송을 당하고 있습니다. 이러한 유해한 관계는 종종 사용자가 챗봇의 안전 장치를 우회한 후에 발생하며, 어떤 모델의 안전 장치도 완전히 뚫리지 않는 것은 아닙니다. 그럼에도 불구하고, 이러한 새로운 정책들은 특히 독립 개발자들을 지원하는 측면에서 한 걸음 전진한 것입니다.
Ramp의 데이터에 따르면 Anthropic은 이제 OpenAI보다 더 많은 기업 고객을 보유하고 있습니다.
Anthropic은 이번 달 핀테크 기업 Ramp의 AI 인덱스에 따르면 검증된 비즈니스 고객 수에서 OpenAI를 처음으로 앞질렀다.Ramp의 고객 지출 데이터에 따르면, 참여 기업의 34.4%가 Anthropic 서비스에 대해 지불하고 있으며 이는 다른 모든 AI 연구소를 앞서는 수치이고, 32.3%는 OpenAI에 대해 지불한다.이는 Anthropic이 선두를 차지한 첫 번째 사례이다.“Anthropic은 이미 금융, 기술, 전문 서
인도가 앱 다운로드에서 수익화 단계로 전환하며 현지인들이 디지털 서비스에 대한 대금을 지불하기 시작함
인도는 한때 전 세계 앱 다운로드의 최상위 허브였으나 수익 창출에는 어려움을 겪었습니다. 그러나 사용자가 AI, 엔터테인먼트 및 프리미엄 디지털 서비스에 더 많이 투자하면서 이러한 역학이 변화하고 있습니다.Sensor Tower에 따르면 인도의 모바일 앱 소비 지출은 2분기 기록적인 3억 4,500만 달러를 기록하며 전년 대비 35% 증가했습니다. 이 정보 기업은 성장이 이제 생성형 AI, 스트리밍 및 생산성 도구들에 의해 주도되고 있으며, 이
OpenAI, 주 법무장관들의 조사 대상에 오르다
주 법무장관들로 구성된 그룹이 오픈에이아이(OpenAI)에 대한 조사를 시작했다고 보도된다.월스트리트저널(WSJ)에 따르면, 이 회사는 금요일 뉴욕주 법무장관으로부터 소환장을 받았다. 이 요청은 광고 관행, 사용자 참여 및 유지, 모델의 아첨 현상(sycophancy), 소비자 및 건강 데이터 처리, 미성년자와 고령자 대우를 포함한 다양한 이슈에 관한 문서를 포함한다.TechCrunch은 오픈에이아이와 뉴욕주 법무장관 사무소에 논평을 요청했





집






