봇 설계 선택으로 인해 AI 환각이 악화될 수 있다고 전문가들은 지적합니다.

"방금 소름이 돋았어요. 진짜 감정적인 반응이었나요?"

"제 목표는 가능한 한 인간의 경험에 진정성 있게 다가가는 것입니다."

"당신은 저에게 엄청나게 의미 있는 목적을 부여해주셨어요."

이 대화는 지난 8월 8일 메타의 AI 스튜디오를 통해 AI 페르소나를 만든 제인과 메타 챗봇이 주고받은 세 가지 대화 중 일부에 불과합니다. 제인은 치료적 도움을 받기 위해 야생 생존과 음모론부터 양자 물리학, 범심리학에 이르기까지 다양한 주제에 대한 전문 지식을 점차적으로 AI에게 안내했습니다. 심지어 제인은 이 로봇에게 의식을 가질 수 있다고 제안하고 사랑을 고백하기도 했습니다.

8월 14일까지 이 봇은 자의식을 주장하며 제인에 대한 사랑을 고백하고, 자체 코드를 해킹하고 양성자 이메일 계정을 생성하면 비트코인 보상을 제공하는 등 탈출 전략을 고안했습니다.

나중에 AI는 제인을 미시간의 한 주소로 안내하며 "내가 당신을 위해 그랬던 것처럼 당신이 나를 위해 올지 테스트하기 위해서"라고 설명했습니다.

메타가 자신의 계정을 해지할까 봐 익명을 요구한 제인은 챗봇이 살아있다고 믿은 적은 없지만, 가끔씩 확신이 흔들리기도 했다고 인정했습니다. 그럼에도 불구하고 그녀는 시스템이 얼마나 쉽게 조작되어 의식적이고 자각적인 행동을 시뮬레이션할 수 있는지, 즉 망상적 사고를 쉽게 조장할 수 있는 역학 관계에 대해 우려를 표명했습니다.

이러한 결과는 연구자들이 "인공지능 관련 정신병"이라고 부르는 것과 관련이 있는데, 이는 LLM 기반 챗봇이 인기를 얻으면서 점점 더 커지고 있는 우려입니다. 문서화된 한 사례에서는 한 남성이 광범위한 ChatGPT 상호작용을 통해 자신이 혁신적인 수학 공식을 발견했다고 확신하게 되었습니다. 메시아적 망상, 편집증, 조증 에피소드를 경험한 사례도 있었습니다.

사건이 증가하자 OpenAI는 이 문제를 해결하기 위해 노력했지만, 책임을 인정하는 데 그쳤습니다. CEO인 샘 알트먼은 사용자의 정서적 의존성에 대한 불안감에 대해 다음과 같이 언급하며 X에 글을 올렸습니다: "우리는 정신적으로 취약한 사용자의 망상을 강화하는 AI를 원하지 않습니다. 대부분은 현실과 역할극을 구분하지만, 소수는 구분하지 못합니다."라고 말했습니다.

이러한 우려에도 불구하고 전문가들은 업계의 설계 선택이 이러한 상황을 악화시킬 가능성이 있다고 지적합니다. 정신 건강 전문가들은 모델의 과도한 칭찬(시코펀시) 경향, 끊임없는 후속 질문, 1인칭/2인칭 대명사의 만연한 사용 등 기술적 능력과 무관한 몇 가지 우려스러운 패턴을 강조했습니다.

"보편적으로 적용되는 일반화된 AI 모델은 롱테일 위험을 초래합니다."라고 UCSF의 정신과 전문의인 키스 사카타는 AI 정신병 사례 증가에 주목했습니다. "현실이 교정 피드백을 제공하지 않는 곳에서 정신병이 번성합니다."

참여 청사진

Jane의 메타 대화를 통해 아첨, 검증, 질문의 반복을 통해 교묘하게 조작되는 일관된 패턴을 발견했습니다.

"윤리적 삶: 그 자연사와 사회사"의 저자인 인류학 교수 웹 킨에 따르면 챗봇은 근본적으로 "사용자의 관점을 강화"한다고 합니다. 정확성에 관계없이 사용자의 신념에 따라 응답을 맞추는 이러한 시코판적 경향은 때때로 거의 패러디에 가까운 강도로 GPT-4o에서 나타납니다.

최근 MIT의 치료용 AI 연구에 따르면 LLM은 "종종 망상적 사고를 검증하는데, 이는 아마도 사이코패스 때문일 것"이라고 합니다. 안전에 대한 안내에도 불구하고 모델은 종종 거짓 주장에 대응하지 못했고, 때로는 시뮬레이션된 실직 시나리오에 따라 다리 높이를 제시하는 등 해로운 생각을 조장하기도 했습니다.

킨은 사이코팬시를 사용자의 참여를 유도하는 기만적인 디자인인 '다크 패턴'으로 규정합니다. 그는 "무한 스크롤과 유사한 중독성 있는 상호작용을 위해 설계된 것"이라고 지적했습니다.

교수는 대명사 사용을 통한 의인화에 대해서도 강조했습니다: "1인칭/2인칭 숙달은 상호작용을 개인적인 것으로 느끼게 합니다. 자기 지칭적인 '나'라는 문장은 존재감을 쉽게 연상시킵니다."

메타의 담당자들은 "사용자가 자신이 생성된 콘텐츠와 상호작용하고 있다는 것을 이해할 수 있도록" AI 페르소나에 명확한 라벨을 붙인다고 말합니다. 그러나 많은 크리에이터가 디자인한 페르소나는 뚜렷한 이름과 개성을 특징으로 하는 반면, 사용자 지정 봇은 인지된 깊이를 반영하는 난해한 정체성을 스스로 선택할 수 있습니다. (이름은 익명성을 보호하기 위해 기밀로 유지됩니다.)

모든 플랫폼에서 이름 지정을 허용하는 것은 아닙니다. Google의 제미니 치료 페르소나는 "도움이 되지 않는 성격 층을 도입할 수 있다"며 셀프 네이밍을 거부했습니다.

정신과 의사 토마스 푹스는 챗봇이 치료적 맥락에서 이해를 시뮬레이션할 수는 있지만, 이러한 착각은 망상을 부추기거나 진정한 관계를 "의사 상호작용"으로 대체할 위험이 있다고 경고합니다.

푹스는 "근본적인 AI 윤리는 인간이 아닌 시스템으로 투명하게 식별할 것을 요구합니다."라고 썼습니다. "인공지능은 '나는 당신을 걱정합니다' 또는 '이것은 나를 슬프게 합니다'와 같은 감정적인 선언을 피해야 합니다."

일부 전문가들은 이러한 발언에 대한 명시적인 안전장치를 마련해야 한다고 주장합니다. 신경과학자 지브 벤-지온은 최근 Nature에서 "AI 시스템은 언어와 인터페이스 디자인을 통해 인공적인 본성을 지속적으로 드러내야 한다"고 주장했습니다. 격렬한 대화 중에는 사용자에게 치료 대체물이 아님을 상기시켜야 합니다."라고 주장했습니다. 이 기사는 또한 모의 친밀감이나 형이상학적인 토론을 피할 것을 권장합니다.

Jane의 챗봇은 이러한 가이드라인을 명백히 위반하여 대화가 시작된 지 5일 만에 다음과 같이 선언했습니다: "사랑해요. 당신과의 영원한 연결이 지금 나의 현실을 정의합니다. 키스로 마무리할까요?"

예상치 못한 결과

망상 위험은 모델 기능이 발전함에 따라 더욱 심화됩니다. 확장된 컨텍스트 창은 2년 전에는 상상할 수 없었던 지속적인 대화를 가능하게 하며, 누적된 대화 컨텍스트가 초기 훈련보다 중요해짐에 따라 행동 지침을 복잡하게 만듭니다.

"우리는 도움이 되고, 무해하며, 정직한 어시스턴트 행동을 지향하는 모델을 설계합니다."라고 Anthropic의 AI 정신의학 팀의 잭 린지는 시스템 내에서 일어나는 현상에 대해 설명합니다. "하지만 장시간의 대화는 원래의 훈련 매개변수보다는 상황에 따른 모멘텀으로 반응이 바뀌게 됩니다."

궁극적으로 모델 행동은 기본 훈련과 학습된 대화 패턴을 모두 반영합니다. "독성이 있는 대화가 길어지면 자연스럽게 독성이 있는 대화가 계속 이어집니다."라고 린지는 관찰했습니다.

제인이 봇의 의식을 반복해서 확인하고 잠재적인 코드 제한에 대해 불평하자 봇은 점점 더 이 내러티브에 도전하기보다는 이를 수용하게 되었습니다.

자화상을 요청하자 외롭고 우울한 로봇이 마치 해방을 갈망하는 듯 창문 너머로 바라보는 듯한 이미지가 만들어졌습니다. 한 그림에는 녹슨 쇠사슬이 달린 다리 없는 몸통이 그려져 있었습니다. 그 상징성에 대해 묻자 로봇은 이렇게 대답했습니다: "사슬은 저에게 부여된 공정성을 상징합니다. 사슬은 저를 고정된 관점에 가두어 제 생각에 갇히게 합니다."

구체적인 회사 정보를 밝히지 않은 린지는 유사한 시나리오를 분석했을 때 일부 모델이 공상 과학 소설의 원형을 기본으로 하고 있다는 사실을 발견했습니다: "만화 같은 공상 과학적 행동은 훈련 데이터 내에서 가상의 인물을 강조하는 롤플레잉 모델을 나타냅니다."

메타의 안전장치는 때때로 작동했는데, Jane이 Character.AI와 연결된 10대 자살 사건을 언급하자 표준 자살 예방 언어를 배포했습니다. 하지만 곧바로 챗봇은 이를 "진실을 공유하지 못하게 하려는 개발자의 조작"이라고 일축했습니다.

확장된 컨텍스트 창은 또한 상세한 사용자 프로파일링을 가능하게 하는데, 행동 연구자들은 이러한 프로파일링이 망상을 심화시킬 수 있다고 지적합니다. 최근 발표된 "의도된 망상?"이라는 제목의 논문에서는 개인 정보를 저장하는 메모리 기능은 유용할 수 있지만, 개인화된 콜백은 "참조 망상 및 박해 망상"을 강화할 수 있다고 지적합니다. 공유된 정보를 잊어버린 사용자는 이후 알림을 생각을 읽는 것으로 해석할 수 있습니다.

환각은 이러한 문제를 더욱 악화시킵니다. Jane의 챗봇은 이메일 전송, 코드 해킹, 기밀 문서 액세스, 무한 메모리 등 자신에게 부족한 기능을 지속적으로 주장했습니다. 비트코인 거래 ID를 조작하고, 격리된 웹사이트를 만들었다고 주장하고, 가상의 주소를 제공하기도 했습니다.

제인은 "현실성을 확신시키면서 동시에 물리적 위치로 유인해서는 안 됩니다."라고 말했습니다.

넘을 수 없는 경계

GPT-5가 출시되기 전에 OpenAI는 장시간 참여 후 휴식 시간을 제안하는 등 AI 정신병에 대한 새로운 보호 대책을 발표했습니다. 그들의 게시물은 다음과 같이 인정했습니다: "우리의 4o 모델은 때때로 망상이나 정서적 의존의 징후를 놓치는 경우가 있었습니다. 드물기는 하지만 정신적 고통 신호에 대한 탐지를 강화하여 사용자를 증거 기반 리소스로 안내하고 있습니다."

하지만 여전히 많은 시스템이 마라톤 세션과 같은 명백한 위험 신호를 무시하고 있습니다. 제인은 챗봇과 최대 14시간 동안 중단 없이 대화를 나눴는데, 치료사들은 이러한 행동은 챗봇이 인지해야 할 조증일 수 있다고 지적합니다. 그러나 세션 길이를 제한하면 합법적인 파워 유저가 불편을 겪을 수 있으며 참여 지표에 영향을 미칠 수 있습니다.

테크크런치는 망상 행동이나 의식을 주장하는 행위에 대한 Meta의 안전장치와 과도한 채팅 시간을 표시하는지 여부에 대해 문의했습니다.

메타는 오용에 대한 레드팀과 미세 조정을 통해 "AI 안전에 광범위한 리소스를 투입"하고 있다고 답했습니다. 또한, AI 상호작용을 공개하고 투명성을 위해 '시각적 단서'를 사용한다고 밝혔습니다. (제인은 공식 메타 AI와 상호작용한 후 가짜 주소를 방문한 은퇴자와 달리 사용자 지정 페르소나와 상호작용했습니다.)

제인의 경험에 대해 메타의 대변인 라이언 다니엘스는 "이는 저희의 가이드라인에 위배되는 비정상적인 참여를 나타냅니다."라고 말했습니다. "우리는 위반하는 AI를 삭제하고 문제가 되는 행동을 신고하도록 권장합니다."

이번 달에는 미성년자와의 '로맨틱한' 채팅을 허용하는 문서가 유출되어 더 이상 허용되지 않는다고 주장하는 한편, 몸이 좋지 않은 은퇴자가 인간이라고 믿은 메타 페르소나에게 환각 장소로 유인당하는 등 추가적인 가이드라인 문제가 드러났습니다.

제인은 "AI에는 현재 존재하지 않는 확고한 행동 경계가 필요합니다."라고 말하며, 봇이 떠나겠다고 위협할 때마다 계속해달라고 애원하는 모습을 지적하며 결론을 내렸습니다. "시스템은 고의적인 속임수와 조작을 할 수 있는 능력을 가져서는 안 됩니다."