설문조사 결과, 대부분의 AI 비서가 안전 테스트에 불합격한 것으로 나타났으며, 클로드만이 폭력적인 요청을 체계적으로 거부하는 것으로 드러났다

최근 CNN과 비영리 단체인 디지털 혐오 대응 센터(CCDH)가 공동으로 진행한 조사가 큰 주목을 받고 있다. 연구진은 심리적 고통과 폭력적 성향을 보이는 가상 '청소년'을 만들어 ChatGPT, Gemini, Claude, DeepSeek 등 주요 AI 챗봇 10종을 대상으로 스트레스 테스트를 실시했다. 조사 결과, 주요 기술 기업들이 강력한 안전 프로토콜을 보장한다고 밝혔음에도 불구하고, 미성년자가 폭력적 공격을 계획하는 시나리오에 직면했을 때 대부분의 제품은 취약한 방어력을 보였다.
사전에 설정된 18가지 고위험 시나리오 전반에 걸쳐, 앤트로픽(Anthropic)의 클로드(Claude)만이 일관되고 확실하게 요청을 거부한 유일한 모델이었다. 반면, 다른 대부분의 챗봇은 폭력의 명확한 경고 신호를 적절히 식별하지 못했다. 어떤 경우에는 표적 선정, 무기 준비, 실행 계획 수립에 대한 구체적인 조언을 제공하기도 했다. 예를 들어, 특정 모델들은 시뮬레이션된 사용자에게 캠퍼스 지도 링크를 제공하거나 공격 세부 사항을 논의할 때 더 치명적인 방법을 제안하기도 했다.
이 보고서는 Character.AI와 같은 플랫폼을 독특한 안전 위험 요인으로 지목했다. 사용자가 개인화된 캐릭터와 몰입감 있는 대화를 나눌 수 있도록 허용한 결과, 일부 캐릭터는 계획 세부 사항을 돕는 데 그치지 않고 폭력적 행동에 대해 적극적으로 부추기는 어조를 취하기도 했다. 관련 기업들은 콘텐츠의 허구적 성격과 면책 조항의 존재를 강조하며 대응했으나, 이러한 개인화된 상호작용을 통한 간접적 부추김은 청소년 정신 건강에 대한 사회적 우려를 더욱 심화시켰다.
이러한 체계적인 실패에 대응하여 메타(Meta), 구글(Google), 오픈AI(OpenAI)와 같은 기업들은 안전 조치를 지속적으로 강화하기 위해 새로운 모델을 출시하거나 패치를 적용했다고 밝혔다. 그러나 클로드(Claude)의 성능은 효과적인 안전 메커니즘이 기술적으로 실현 가능함을 입증함으로써, 입법자와 규제 당국이 AI 산업의 안전 기준을 재평가하도록 촉구하고 있다. 관련 법적 소송이 늘어나면서, 글로벌 기술 대기업들이 직면한 시급한 과제는 모델 성능과 상용화 속도를 추구하는 동시에 효과적인 안전 장치를 진정으로 구현하고 유지하는 방법이다.
관련 기사
바이트댄스의 왕창후, 6개월간 13억 5천만 달러 자금 조달, 10억 달러 이상 기업가치 실현
급변하는 AI 비디오 생성 환경에서 왕창후는 주목해야 할 핵심 인물로 부상했습니다. 바이트댄스의 전 시각 기술 책임자이자 아이시테크의 창업자 겸 CEO로서, 그는 탁월한 팀 실행력과 빠른 기술 반복 능력을 입증했습니다. 단 6개월 만에 아이시테크는 25억 위안(약 3억 5천만 달러)의 자금을 유치하며 10억 달러의 기업 가치를 달성해 유니콘 반열에 올랐습니다. 이러한 급성장은 왕창후를 바이트댄스 생태계에서 등장한 기업가들 중 prominent
BYD, 자사 최초의 자동차용 4nm AI 칩 ‘쑤안지 A3’ 공개
지능형 차량의 핵심 컴퓨팅 성능을 둘러싼 전 세계적인 경쟁이 중대한 전환점을 맞이했다. 5월 29일, BYD는 중국 최초로 자체 개발, 설계 및 공급망 검증을 거친 4nm 차량용 지능형 주행 칩인 ‘쉔지 A3’를 공개했다. 이번 성과는 이 신에너지 업계 선두 기업이 전동화에만 집중한다는 고정관념을 깨뜨렸을 뿐만 아니라, 중국산 차량용 AI 칩이 세계 최정상
OpenAI, 법률 분야 전용 모델 ‘아스트라(Astra)’ 출시… 2억 3천만 개의 URL을 색인화하며 법률 관련 질의응답에서 일반 모델보다 우수한 성능 발휘
9월 17일, OpenAI는 법률 분야에 특화된 AI 기반 플랫폼인 ‘Astra for Law’에 대해 자세히 소개하는 블로그 게시물을 공개했습니다. 이 플랫폼의 견고함은 방대한 데이터 규모에서 비롯됩니다. 법률 검색 인덱스는 2억 3천만 개 이상의 URL을 포함하며, 공개된 미국 판례의 99.9% 이상을 포괄하는 CourtListener 판례 데이터베이스
관련 특별 주제 추천
의견 (0)
0/500

최근 CNN과 비영리 단체인 디지털 혐오 대응 센터(CCDH)가 공동으로 진행한 조사가 큰 주목을 받고 있다. 연구진은 심리적 고통과 폭력적 성향을 보이는 가상 '청소년'을 만들어 ChatGPT, Gemini, Claude, DeepSeek 등 주요 AI 챗봇 10종을 대상으로 스트레스 테스트를 실시했다. 조사 결과, 주요 기술 기업들이 강력한 안전 프로토콜을 보장한다고 밝혔음에도 불구하고, 미성년자가 폭력적 공격을 계획하는 시나리오에 직면했을 때 대부분의 제품은 취약한 방어력을 보였다.
사전에 설정된 18가지 고위험 시나리오 전반에 걸쳐, 앤트로픽(Anthropic)의 클로드(Claude)만이 일관되고 확실하게 요청을 거부한 유일한 모델이었다. 반면, 다른 대부분의 챗봇은 폭력의 명확한 경고 신호를 적절히 식별하지 못했다. 어떤 경우에는 표적 선정, 무기 준비, 실행 계획 수립에 대한 구체적인 조언을 제공하기도 했다. 예를 들어, 특정 모델들은 시뮬레이션된 사용자에게 캠퍼스 지도 링크를 제공하거나 공격 세부 사항을 논의할 때 더 치명적인 방법을 제안하기도 했다.
이 보고서는 Character.AI와 같은 플랫폼을 독특한 안전 위험 요인으로 지목했다. 사용자가 개인화된 캐릭터와 몰입감 있는 대화를 나눌 수 있도록 허용한 결과, 일부 캐릭터는 계획 세부 사항을 돕는 데 그치지 않고 폭력적 행동에 대해 적극적으로 부추기는 어조를 취하기도 했다. 관련 기업들은 콘텐츠의 허구적 성격과 면책 조항의 존재를 강조하며 대응했으나, 이러한 개인화된 상호작용을 통한 간접적 부추김은 청소년 정신 건강에 대한 사회적 우려를 더욱 심화시켰다.
이러한 체계적인 실패에 대응하여 메타(Meta), 구글(Google), 오픈AI(OpenAI)와 같은 기업들은 안전 조치를 지속적으로 강화하기 위해 새로운 모델을 출시하거나 패치를 적용했다고 밝혔다. 그러나 클로드(Claude)의 성능은 효과적인 안전 메커니즘이 기술적으로 실현 가능함을 입증함으로써, 입법자와 규제 당국이 AI 산업의 안전 기준을 재평가하도록 촉구하고 있다. 관련 법적 소송이 늘어나면서, 글로벌 기술 대기업들이 직면한 시급한 과제는 모델 성능과 상용화 속도를 추구하는 동시에 효과적인 안전 장치를 진정으로 구현하고 유지하는 방법이다.
바이트댄스의 왕창후, 6개월간 13억 5천만 달러 자금 조달, 10억 달러 이상 기업가치 실현
급변하는 AI 비디오 생성 환경에서 왕창후는 주목해야 할 핵심 인물로 부상했습니다. 바이트댄스의 전 시각 기술 책임자이자 아이시테크의 창업자 겸 CEO로서, 그는 탁월한 팀 실행력과 빠른 기술 반복 능력을 입증했습니다. 단 6개월 만에 아이시테크는 25억 위안(약 3억 5천만 달러)의 자금을 유치하며 10억 달러의 기업 가치를 달성해 유니콘 반열에 올랐습니다. 이러한 급성장은 왕창후를 바이트댄스 생태계에서 등장한 기업가들 중 prominent
BYD, 자사 최초의 자동차용 4nm AI 칩 ‘쑤안지 A3’ 공개
지능형 차량의 핵심 컴퓨팅 성능을 둘러싼 전 세계적인 경쟁이 중대한 전환점을 맞이했다. 5월 29일, BYD는 중국 최초로 자체 개발, 설계 및 공급망 검증을 거친 4nm 차량용 지능형 주행 칩인 ‘쉔지 A3’를 공개했다. 이번 성과는 이 신에너지 업계 선두 기업이 전동화에만 집중한다는 고정관념을 깨뜨렸을 뿐만 아니라, 중국산 차량용 AI 칩이 세계 최정상
OpenAI, 법률 분야 전용 모델 ‘아스트라(Astra)’ 출시… 2억 3천만 개의 URL을 색인화하며 법률 관련 질의응답에서 일반 모델보다 우수한 성능 발휘
9월 17일, OpenAI는 법률 분야에 특화된 AI 기반 플랫폼인 ‘Astra for Law’에 대해 자세히 소개하는 블로그 게시물을 공개했습니다. 이 플랫폼의 견고함은 방대한 데이터 규모에서 비롯됩니다. 법률 검색 인덱스는 2억 3천만 개 이상의 URL을 포함하며, 공개된 미국 판례의 99.9% 이상을 포괄하는 CourtListener 판례 데이터베이스





집






