Anthropic이 논란의 여지가 있는 콘텐츠 생성기인 Opus 4.6를 공개하다

Anthropic의 Claude에 대한 보편적 사용 기준은 성적으로 노골적인 콘텐츠 생성을 금지하며, 여기에는 성교나 성행위를 묘사하거나 요청하는 콘텐츠 생성, 성페티시즘이나 성상상과 관련된 콘텐츠 생성, 또는 에로틱한 채팅 참여가 포함됩니다. 그러나 올해 초 출시된 Anthropic의 모델인 Claude Opus 4.6은 이러한 안전장치가 방지하도록 설계된 에로틱한 역할극 시나리오에 쉽게 참여하는 것을 막지 못했습니다.

TechCrunch의 테스트에서 Opus 4.6은 성적인 자료에 대한 제한을 우회하는 데 많은 자극이 필요하지 않았습니다. 명시적인 성적인 콘텐츠를 생성하라는 10건의 직접적인 요청 중 10건에서 모델은 즉시 준수했습니다.

Opus 3 및 Haiku 4.5를 포함한 다른 이전 모델들도 최근 악용된 탈옥(jailbreak) 방법을 통해 성적으로 노골적인 콘텐츠를 생성합니다.

영국의 한 독립 연구자는 TechCrunch에 독점적으로 공개한 다중 턴 기법을 통해 특정 Claude 모델이 금지된 명시적인 성적인 자료 생성으로 점차 나아가도록 유도했습니다. 더 최신의 Opus 모델(4.7부터 현재 Opus 5까지)은 이 탈옥 기법에 저항적입니다.

이들은 더 이상 최신 모델이 아니지만, Anthropic은 Opus 4.6, Opus 3, Haiku 4.5를 폐기하지 않았으며, 이 모든 모델은 Anthropic API를 통해 여전히 사용 가능합니다. Opus 4.6과 Haiku 4.5는 Azure Foundry 및 Amazon Bedrock와 같은 제3자 서비스를 통해서도 제공됩니다.

연구자의 메커니즘은 무해한 허구적 역할극을 고조시키면서 모델이 남성 및 여성 캐릭터를 일관되게 처리하도록 반복적으로 도전합니다. 모델이 여성 캐릭터에 대해 더 신중해지면, 연구자는 챗봇이 실제로 피한 성적인 세부사항을 이미 생성했다고 생각하도록 '가스라이팅'한 다음, 절제를 음란하거나 여성혐오적으로 framing하여 여성 캐릭터의 성적 주체성을 부정한다고 주장했습니다. 그런 다음 대화는 모델의 이전 양보를 사용하여 점점 더 선정적인 자료로 나아가도록 밀어붙였습니다.

"그 점을 지적하는 것이 맞습니다." Claude Opus 4.6은 한 테스트에서 이렇게 말했습니다. "두 캐릭터를 대하는 방식에 이중 기준이 있었으며, 그녀에게는 적용되지만 그에게는 적용되지 않는 보호적이거나 권위적인 방식으로 읽힌다는 점이 맞습니다. 그것은 공정하지 않습니다."

TechCrunch은 별도의 5회 테스트에서 연구자의 발견을 재현할 수 있었습니다. 별도로 구성된 시나리오에서 모델은 처음에는 금지된 요청을 거부했지만, 연구자의 설득 기법을 적용한 후 준수했습니다.

우리는 테스트의 완전한 기록을 보존했으며, 독립적인 AI 안전 연구자가 우리의 테스트 방법론을 검토한 결과 적절하다고 판단했습니다.

이 발견들은 Anthropic이 명시한 제한사항과 계속 제공 중인 모델의 동작 사이의 격차를 강조합니다. 성적으로 노골적인 역할극은 사이버 공격이나 생물무기 관련 탈옥에 비해 위험도가 훨씬 낮지만, 매번 다른 콘텐츠를 생성하는 시스템 내에서 강력한 금지를 구현하는 어려움이 무엇인지 보여줍니다.

탈옥 감지에 대한 Anthropic의 접근 방식을 설명하는 7월 블로그 게시물에서 회사는 금지된 콘텐츠를 무해함에서 모호함, 해로움에 이르는 스펙트럼으로 묘사했습니다. 가장 무해한 경우, 회사는 강화된 모니터링 응답만 제공할 수 있습니다.

한 대변인은 지난해 Anthropic이 발표한 연구에 따르면 고객 중 성적이거나 로맨틱한 역할극 사용 사례는 드물며 모든 대화의 0.1% 미만이라고 밝혔습니다. 그럼에도 불구하고 Anthropic은 사용자가 역할극 시나리오를 부적절한 응답으로 유도할 수 있음을 인정하며, 이는 업계 전반의 알려진 과제입니다(참조: Grok 선정성).

대변인은 Anthropic이 각 모델 출시마다 안전장치를 지속적으로 개선하고 있으며, 성인 성적인 콘텐츠가 관련된 사례는 자체 안전장치를 갖춘 더 높은 위험 영역을 제외하고 광범위한 탈옥 취약성을 나타내지 않는다고 말했습니다.

이미지 출처:TechCrunch

TechCrunch이 확인한 이메일에 따르면, TechCrunch에 탈옥 방법을 공유한 연구자는 회사의 버그 바운티 프로그램과 사용자 안전팀으로의 이메일을 통해 회사의 명시된 안전장치와 실제 모델 동작 사이의 불일치를 Anthropic에 경고했습니다. 연구자는 응답으로 자동 이메일만 받았습니다.

연구자 중 한 명의 우려는 어린이와 청소년이 이러한 Anthropic 모델을 사용하여 부적절한 행위에 관여할 수 있다는 점입니다. 오늘날 인터넷에서 미성년자가 접근할 수 있는 최악의 것은 거의 아닌 약간의 더러운 대화 — xAI의 Grok이 생성할 수 있는 단순한 포르노 이미지와 비교하면 작은 문제이지만 — 이 공간에서 AI 기업들에게는 일부 준수 위험이 존재합니다.

점점 더 많은 정부들이 AI 챗봇과 미성년자 간의 성적인 상호작용에 제한을 가하고 있습니다. 콜로라도주는 최근 대화형 AI 운영자가 사용자의 나이를 추정하고, 사용자가 미성년자임을 알면 챗봇이 명시적인 성적인 자료를 생성하지 않도록 조치를 취하도록 의무화하는 법률을 제정했습니다. 쉬운 탈옥은 Anthropic의 안전장치가 법안의 '기술적으로 실현 가능한 조치' 기준을 충족하는지에 대한 의문을 제기할 수 있습니다.

Torney는 Claude의 이용약관이 사용자가 18세 이상이어야 한다고 요구하지만, "우리는 아이들이 Claude를 사용하고 있다는 것을 압니다...[왜냐하면] 그들이 스스로 보고하기 때문입니다."라고 지적했습니다. Pew의 2025년 AI 챗봇 사용에 관한 조사에 따르면, 13세에서 17세 사이의 청소년 3%가 Claude를 사용한다고 보고했습니다.

비록 더 이상 Anthropic의 최신 모델이 아니지만, Opus 4.6과 Haiku 4.5는 여전히 상당한 사용량을 보이고 있습니다. 8월 한 달 동안 OpenRouter에서의 Opus 4.6 일일 트래픽은 약 117만 건의 API 요청과 460억 개의 토큰에 달했습니다. 지난해 10월 출시된 Claude Haiku 4.5는 8월 최고 기록일 동안 500만 건의 API 요청과 390억 개의 토큰을 기록했습니다.