통제되지 않은 인공지능 자율성은 가장 심각한 위험을 초래한다

로스앤젤레스 시내를 자율주행 우버로 이동해 본 적이 있다면, 운전자도 대화 상대도 없이 오직 주변 환경을 해석하는 침묵의 차량만이 존재할 때 스며드는 그 특이한 불확실성을 기억할 것이다. 차량이 그림자를 잘못 인식하거나 실제 위협 없이 급제동하기 전까지는 평범한 주행처럼 느껴진다. 그 순간 자율주행의 핵심 문제점을 엿볼 수 있습니다: 필요한 순간에 당황하지 않는다는 점입니다. 그 자신감과 판단력 사이의 간극이 바로 신뢰가 형성되거나 깨지는 지점입니다. 오늘날 기업용 AI의 상당수는 놀랍도록 유사한 모습을 보입니다. 능력이 있으면서도 자신감이 부족하고, 효율적이면서도 공감 능력이 부족합니다. 그래서 성공적인 배포의 핵심 요소는 더 이상 순수한 컴퓨팅 파워가 아니라 신뢰입니다.

MLQ의 '2025년 비즈니스 AI 현황' [PDF] 보고서는 이를 명확히 보여줍니다: 초기 AI 시범 운영의 95%가 측정 가능한 ROI를 달성하지 못합니다. 이는 기술이 취약해서가 아니라 잘못된 문제에 적용되었기 때문입니다. 이 패턴은 산업 전반에 걸쳐 반복됩니다. 리더들은 결과물의 정확성을 검증할 수 없을 때 불안해하고, 팀원들은 대시보드를 의심하며, 고객들은 지원보다는 로봇 같은 상호작용에 인내심을 잃습니다. 자동 복구 시스템이 자신의 답변이 틀렸다고 고집하는 동안 은행 계좌에 접근조차 못해 본 사람이라면 신뢰가 얼마나 순식간에 사라지는지 잘 알 것이다.

클라르나는 대규모 자동화의 대표적인 사례로 여전히 주목받고 있다. 이 회사는 2022년 이후 인력을 절반으로 줄였으며, 내부 AI가 올해 초 700개에서 현재 853개에 달하는 정규직 업무를 수행한다고 보고했다. 매출은 108% 급증했고, 평균 직원 보상은 60% 상승했는데, 이는 부분적으로 이러한 운영 효율성 향상으로 인한 것이다. 그러나 상황은 더 복잡하다. 클라르나는 여전히 분기 9,500만 달러의 적자를 기록했으며, CEO는 추가 인력 감축 가능성을 경고했다. 이는 자동화만으로는 안정성을 보장할 수 없음을 보여준다. 적절한 책임 체계와 구조가 없다면, AI가 고장 나기 훨씬 전에 사용자 경험이 무너진다. CCaaS(고객 경험 자동화 서비스) 제공업체 시러스의 제이슨 루스 CEO가 지적했듯, "내부든 외부든 신뢰를 훼손하는 어떤 변화도 무시할 수 없는 대가를 치르게 한다. 오히려 상황을 악화시킬 수 있다."

자율성이 책임성을 앞지르면 어떤 결과가 발생하는지 우리는 이미 목격했다. 영국 노동연금부(DWP)는 약 20만 건의 합법적인 주택 보조금 청구를 잠재적 사기성으로 잘못 분류한 알고리즘을 사용했다. 문제는 기술 자체가 아니라 결정에 대한 명확한 책임 소재의 부재였습니다. 자동화 시스템이 잘못된 계정을 정지시키거나, 유효한 청구를 거부하거나, 불필요한 경보를 유발할 때, 핵심 질문은 단순히 "모델이 왜 실패했는가?"가 아닙니다. "결과에 대한 책임은 누구에게 있는가?"입니다. 이에 대한 답이 없다면 신뢰는 취약해집니다.

"결여된 단계는 항상 준비 상태입니다"라고 루스는 말한다. "프로세스, 데이터, 안전장치가 마련되지 않았다면 자율성은 성과를 높이지 않고 약점을 증폭시킬 뿐입니다. 책임성이 우선되어야 합니다. 원하는 결과를 먼저 설정하고, 낭비되는 노력을 파악하며, 준비 상태와 거버넌스를 검증한 후에야 자동화를 진행해야 합니다. 이 단계를 생략하면 효율성 향상만큼이나 책임성도 순식간에 사라집니다."

문제의 일부는 이를 지탱할 기반 없이 규모에만 집착하는 데 있다. 많은 조직이 신속하게 결단력 있게 행동할 수 있는 자율 에이전트를 도입하지만, 그 행동이 예상 경계를 벗어날 때의 결과는 거의 고려하지 않는다. 에델만 신뢰 지표[PDF]에 따르면 대중의 AI 신뢰도는 5년간 꾸준히 하락했다. KPMG와 멜버른 대학의 공동 연구에 따르면 근로자들은 조사 대상 업무의 거의 절반에서 더 많은 인간 개입을 선호했다. 이러한 결과는 단순한 진실을 강조한다: 신뢰는 모델을 더 강하게 밀어붙이는 데서 거의 오지 않는다. 신뢰는 사람들이 의사 결정 과정을 이해하고, 제동장치보다는 조향장치처럼 기능하는 거버넌스에서 비롯된다.

고객 측면에서도 동일한 역학이 나타난다. PwC의 신뢰 연구에 따르면 인식과 현실 간에 큰 격차가 존재한다: 대부분의 경영진은 고객이 자사 조직을 신뢰한다고 믿지만, 실제로 동의하는 고객은 소수에 불과하다. 다른 설문조사에 따르면 투명성이 이 격차를 좁히는 데 도움이 되며, 대부분의 소비자는 서비스 상호작용에 AI가 사용될 때 명확한 공개를 원한다. 그러한 명확성이 없으면 사람들은 안심하지 못하고 오히려 속았다고 느끼며 관계가 긴장된다. AI 사용에 대해 공개적으로 소통하는 기업들은 단순히 신뢰를 보호하는 것이 아니라 기술과 인간 지원이 공존할 수 있다는 개념을 정상화하고 있다.

일부 혼란은 '행위자적 AI(agentic AI)'라는 용어 자체에서 비롯됩니다. 시장 대부분은 이를 예측 불가능하거나 자율적으로 움직이는 것으로 취급하지만, 실제로는 추론과 기억 기능을 강화한 워크플로 자동화에 불과합니다. 이는 인간이 설계한 매개변수 내에서 시스템이 제한된 결정을 내리는 구조화된 방식입니다. 성공적이고 확장 가능한 배포는 모두 동일한 순서를 따릅니다: 개선할 결과를 먼저 설정하고, 워크플로우 내 불필요한 노력을 식별하며, 자율성을 위한 시스템 및 팀 준비 상태를 평가한 후, 그제서야 기술을 선택합니다. 이 순서를 뒤집는 것은 속도를 높이지 않습니다—오히려 더 빠른 실수로 이어질 뿐입니다. 루스가 지적하듯, AI는 인간의 판단을 대체하는 것이 아니라 확장해야 합니다.

이 모든 것은 더 광범위한 진실을 가리킵니다. 모든 자동화 물결은 결국 기술적 문제만이 아닌 사회적 문제가 됩니다. 아마존은 운영의 일관성뿐만 아니라 '당신의 택배가 반드시 도착할 것'이라는 확신을 통해 지배력을 구축했습니다. 그 확신이 흔들리면 고객은 떠납니다. AI도 동일한 패턴을 따릅니다. 정교한 자가 수정 시스템을 도입할 수 있지만, 고객이 어느 시점에서든 속았거나 오도되었다고 느끼면 신뢰는 산산조각납니다. 내부적으로도 동일한 압박이 작용합니다. KPMG 글로벌 연구[PDF]는 직원들이 의사 결정 과정이나 책임 소재를 이해하지 못할 때 얼마나 빠르게 이탈하는지 강조한다. 명확성이 결여되면 도입이 정체된다.

에이전트 시스템이 대화형 역할을 더 많이 수행함에 따라 감정적 차원은 더욱 중요해집니다. 자율 채팅 상호작용에 대한 초기 리뷰는 사람들이 이제 도움을 받았는지 여부뿐만 아니라 상호작용이 세심하고 존중받는 느낌을 주었는지로도 경험을 평가한다는 것을 보여줍니다. 무시당했다고 느끼는 고객은 자신의 좌절감을 거의 숨기지 않습니다. AI의 감정적 어조는 진정한 운영 요소가 되고 있으며, 이러한 기대를 충족하지 못하는 시스템은 오히려 부담이 될 위험이 있습니다.

냉정한 현실은 기술이 항상 사람들의 본능적 수용 속도보다 빠르게 진화한다는 점이다. 신뢰는 필연적으로 혁신에 뒤처질 수밖에 없다. 이는 진보를 반대하는 주장이 아니라 성숙을 촉구하는 목소리다. 모든 AI 리더는 스스로에게 물어야 한다: 내 데이터를 이 시스템에 맡길 수 있을까? 그 시스템의 마지막 결정을 평이한 언어로 설명할 수 있을까? 문제가 발생하면 누가 개입할 것인가? 이 답변들이 불분명하다면, 해당 조직은 혁신을 주도하는 것이 아니라 사과를 준비하는 중이다.

루스는 간단히 이렇게 말한다: "주체적 AI가 문제가 아니다. 책임지지 않는 AI가 문제다."

신뢰가 사라지면 도입도 함께 사라지며, 혁신적으로 보였던 프로젝트는 95% 실패율의 또 다른 사례가 된다. 자율성이 적이 아니다. 책임 소재를 잊는 것이 적이다. 자율주행 열풍이 결국 사그라들 때도 여전히 통제권을 쥐고 있을 조직은 인간의 손을 핸들에 올려놓는 조직일 것이다.