AI 에이전트는 의사소통이 가능하지만 진정으로 신뢰할 수 있는 에이전트는 극소수에 불과합니다.

의료 분야에서 AI 에이전트에 대한 수요가 그 어느 때보다 절실합니다. 의료 분야 전반에서 과중한 업무에 시달리는 팀은 시간이 많이 소요되는 과중한 업무로 인해 환자 치료가 지연되는 상황에 직면해 있습니다. 임상의는 한계에 다다르고, 보험사 콜센터는 요청으로 넘쳐나며, 환자는 긴급한 질문에 대한 답변을 기다리게 됩니다.

AI 에이전트는 의료진과 환자 모두의 번아웃을 줄이면서 임상 및 관리 인력의 도달 범위와 가용성을 확장하는 등 중요한 격차를 해소하는 솔루션을 제공합니다. 하지만 이러한 잠재력을 실현하려면 먼저 AI 에이전트에 대한 탄탄한 신뢰 기반을 구축해야 합니다. 신뢰는 친근한 말투나 대화 매력만으로 쌓을 수 있는 것이 아닙니다. 신뢰는 의도적인 엔지니어링의 결과물입니다.

AI 에이전트에 대한 관심이 급증하고 에이전트 AI의 위력을 약속하는 헤드라인이 쏟아지고 있지만, 환자와 지역사회의 복지를 책임지는 많은 의료 리더들은 광범위한 도입에 대해 여전히 신중한 태도를 유지하고 있습니다. 스타트업들은 예약 예약과 같은 간단한 업무 자동화부터 하이터치 환자 커뮤니케이션 및 임상 지원까지 다양한 기능을 홍보하고 있습니다. 그러나 이러한 상호작용이 진정으로 안전하다는 것을 입증한 사례는 거의 없습니다.

사실, 대부분은 결코 안전하지 않을 것입니다.

누구나 대규모 언어 모델(LLM)을 사용하여 음성 에이전트를 만들고, 공감할 수 있는 어조를 부여하고, 설득력 있는 대화를 스크립트로 작성할 수 있습니다. 이와 같은 플랫폼은 모든 산업에 존재하며 각기 고유한 에이전트를 홍보합니다. 그러나 이러한 에이전트의 모양과 소리는 다를 수 있지만, 환각에 빠지기 쉽고, 필수적인 사실을 확인할 수 없으며, 책임을 보장하는 메커니즘이 부족하다는 점에서는 놀라울 정도로 유사합니다.

이러한 접근 방식은 기본 LLM을 얇게 감싸는 것에 불과한 경우가 많으며, 소매업이나 서비스업에서는 적합할 수 있지만 의료 분야에서는 실패할 수밖에 없습니다. 기본 모델은 강력하지만 임상 지침, 지불자 정책 또는 규제 요건에 대한 교육을 받지 않았기 때문에 설계상 범용적입니다. 이러한 기반 위에 구축된 가장 명료한 에이전트조차도 추측성 답변에 빠지거나, 해서는 안 될 질문을 하거나, 답변을 만들어내거나, 인간 상담원이 개입해야 할 단서를 놓칠 수 있습니다.

그 결과 환자는 혼란스러워지고, 치료가 중단될 수 있으며, 많은 비용이 드는 수작업 수정이 뒤따릅니다. 이는 기계 지능의 문제가 아닙니다. 인프라 부재의 문제입니다.

의료 환경에서 안전하고 안정적이며 효과적으로 작동하려면 AI 상담원이 단순히 통화 시 자동화된 음성으로만 작동해서는 안 됩니다. 제어, 상황 이해 및 책임을 위해 설계된 시스템의 지원을 받아야 합니다. 이러한 시스템을 구축한 경험을 바탕으로 이러한 시스템을 구축하는 데 수반되는 사항은 다음과 같습니다.

응답 제어를 통해 환각이 거의 불가능

의료 분야의 AI 에이전트는 그럴듯한 답변을 생성하는 것 이상의 역할을 수행해야 합니다. 매번 정확한 답변을 제공해야 합니다. 이를 위해서는 모든 응답이 사전 승인된 로직에 구속되도록 보장하면서 자연스러운 대화를 가능하게 하는 시스템, 즉 엄격하게 제어되는 '액션 스페이스'가 필요합니다.

기본 제공 응답 제어 매개변수를 통해 상담원은 승인된 프로토콜, 사전 정의된 절차 및 규제 표준에서만 활용할 수 있습니다. 이 모델의 창의성은 사실을 만들어내는 것이 아니라 상호작용을 안내하는 데 사용됩니다. 이러한 방식으로 의료 기관은 제한된 파일럿이나 포커스 그룹이 아닌 기본 설계를 통해 환각의 위험을 근절할 수 있습니다.

전문화된 지식 그래프로 신뢰할 수 있는 상호 작용 지원

모든 의료 대화는 지극히 개인적인 내용입니다. 같은 지역에 거주하며 비슷한 위험 요인을 공유하는 두 명의 제2형 당뇨병 환자가 있다고 가정해 보겠습니다. 병력, 치료 프로토콜, 보험 플랜, 조제 규칙에 따라 특정 약물을 복용할 수 있는 자격이 다를 수 있습니다.

AI 에이전트는 이러한 수준의 컨텍스트에 액세스할 수 있어야 할 뿐만 아니라 실시간 추론에 활용할 수 있어야 합니다. 전문 지식 그래프가 바로 이러한 기능을 제공합니다. 신뢰할 수 있는 여러 출처의 정보를 구조화된 형식으로 정리하여 상담원이 입력을 검증하고 정확하고 개인화된 답변을 제공할 수 있도록 지원합니다. 이 계층이 없으면 상담원은 지식이 풍부한 것처럼 보일 수 있지만 단순히 경직된 워크플로우를 실행하고 교육받은 추측을 하는 것에 불과합니다.

정확성을 체계적으로 평가하는 종합적인 검토 시스템

환자가 만족스럽게 통화를 종료하더라도 AI 상담원의 임무가 끝난 것은 아닙니다. 의료 서비스 제공자는 상담원이 정확한 정보를 제공했는지, 대화를 이해했는지, 상호작용을 적절하게 문서화했는지 확인해야 합니다. 이때 자동화된 사후 처리 시스템이 중요한 역할을 합니다.

신뢰할 수 있는 검토 시스템은 무한한 시간을 가진 관리자의 세심한 주의를 기울여 모든 대화를 분석해야 합니다. 응답의 정확성을 확인하고, 적절한 데이터 캡처를 보장하며, 후속 조치가 필요한지 여부를 결정해야 합니다. 문제가 감지되면 상담원은 반드시 사람에게 에스컬레이션해야 합니다. 모든 것이 일치하면 안심하고 작업을 종료할 수 있습니다.

엔지니어링된 신뢰의 세 가지 기둥 외에도 모든 에이전트 AI 인프라에는 환자 데이터를 보호하고 규정을 준수하는 강력한 보안 및 규정 준수 프레임워크가 포함되어야 합니다. 즉, SOC 2 및 HIPAA와 같은 표준을 준수하고 편향성 테스트, 보호 대상 건강 정보 삭제, 데이터 보존을 위한 기본 제공 프로세스를 준수해야 합니다.

이러한 보안 조치는 단순히 체크박스를 충족하는 것 이상의 역할을 합니다. 환자와 의료진이 기대하는 표준에 따라 모든 상호 작용을 관리할 수 있는 신뢰할 수 있는 시스템의 근간을 형성합니다.

의료 분야에는 더 이상의 AI 과대 광고가 필요하지 않습니다. 강력한 AI 인프라가 필요합니다. 에이전트 AI의 경우 신뢰는 그냥 얻어지는 것이 아니라 처음부터 설계된 것입니다.