최고의 AI 모델들, 높은 자신감에도 불구하고 자기 수정에서 가장 어려움을 겪다

인공지능 커뮤니티는 다음 주요 돌파구가 인간 개입 없이 시스템이 스스로를 향상시키는 자기 개선형 인공지능 시대를 열 것이라고 널리 예상한다. 모델이 발전함에 따라 데이터뿐만 아니라 자신의 출력물로부터도 학습하게 될 것이라는 논리다. 각 새로운 반복은 이전 버전을 개선하며 오류를 식별, 수정, 제거할 것이다. 시간이 지남에 따라 이러한 복합적 진보는 지능 폭발을 촉발할 수 있으며, AI 시스템이 더 뛰어난 능력을 가진 AI를 설계하게 될 것입니다. 이러한 비전은 재귀적 AI, 자율 에이전트, 그리고 오랫동안 기다려온 지능 폭발에 대한 기대감을 불러일으킵니다. 이 아이디어의 핵심은 AI 시스템이 자신의 실수를 안정적으로 수정할 수 있는 능력입니다. 강력한 자기 수정 능력이 없다면 자기 개선은 여전히 달성 불가능합니다. 자신이 틀렸을 때를 판단할 수 없는 시스템은 표면적인 능력과 상관없이 자신의 출력으로부터 의미 있게 학습할 수 없습니다.

오랫동안 모델이 더 강력해지면 자가 교정이 자연스럽게 나타날 것이라고 가정해왔다. 이는 직관적으로 보입니다. 결국 더 강력한 모델은 더 많은 지식을 보유하고, 더 나은 추론 능력을 가지며, 다양한 작업에서 탁월하기 때문입니다. 그러나 최근 연구들은 놀라운 발견을 제시합니다: 더 진보된 모델들은 종종 자신의 오류를 수정하는 데 어려움을 겪는 반면, 덜 능숙한 모델들은 자기 수정에서 더 나은 성과를 보인다는 것입니다. 정확도-수정 역설(Accuracy-Correction Paradox)로 알려진 이 현상은 AI 추론에 대한 우리의 가정에 도전장을 내밀며, 자기 개선형 AI에 대한 우리의 준비 상태에 의문을 제기합니다.

자기 개선형 AI 이해하기

자기 개선형 AI란 자신의 실수를 식별하고, 이를 통해 학습하며, 반복적으로 성능을 향상시킬 수 있는 시스템을 의미합니다. 인간이 선별한 훈련 데이터에만 의존하는 기존 모델과 달리, 자기 개선형 AI는 자신의 출력을 능동적으로 평가하고 시간이 지남에 따라 적응합니다. 이론적으로 이는 각 학습 주기가 이전 주기를 기반으로 구축되는 피드백 루프를 생성하여, 흔히 지능 폭발이라고 불리는 현상으로 이어질 수 있습니다.

그러나 이를 달성하는 것은 결코 간단하지 않습니다. 자기 개선은 단순한 계산 능력이나 대규모 데이터셋 이상의 것을 요구합니다. 오류 감지, 원인 규명, 수정된 해결책 생성 등 신뢰할 수 있는 자기 평가 능력이 필요합니다. 이러한 기술이 없다면 모델은 올바른 추론과 결함 있는 논리를 구분할 수 없습니다. 아무리 빠르게 반복하더라도 잘못된 해결책을 고집하는 것은 성능을 향상시키기보다 오류를 고착시킬 뿐입니다.

이 구별은 매우 중요하다. 인간의 오류 학습은 성찰, 가설 검증, 조정 과정을 포함한다. AI의 경우 이러한 과정이 시스템 자체에 내재되어야 한다. 모델이 자신의 실수를 신뢰성 있게 인식하고 수정하지 못한다면, 의미 있는 자기 개선 주기에 참여할 수 없으며, 재귀적 지능의 가능성은 달성 가능한 것이 아니라 이론적인 수준에 머물게 된다.

정확도-수정 역설

자기 수정 능력은 종종 단일 기술로 간주되지만, 실제로는 별도로 평가해야 할 여러 고유한 능력을 결합한 것입니다. 최소한 세 가지 측정 가능한 구성 요소로 나눌 수 있습니다: 오류 탐지, 오류 위치 파악(또는 원인 식별), 오류 수정입니다. 오류 탐지는 모델이 자신의 출력이 잘못되었음을 인식할 수 있는지 평가합니다. 오류 위치 파악은 실수가 발생한 지점을 규명하는 데 초점을 맞춥니다. 오류 수정은 정확한 해결책을 생성하는 능력을 의미합니다.

이러한 능력을 개별적으로 평가함으로써 연구자들은 현재 시스템의 한계에 대한 귀중한 통찰력을 얻습니다. 그들은 모델들이 이러한 영역에서 고르지 못한 성능을 보인다는 점을 관찰합니다. 어떤 모델은 오류를 발견하는 데 능숙하지만 해결하는 데는 취약합니다. 다른 모델들은 실수를 거의 인지하지 못하면서도 반복적인 시도를 통해 이를 수정해냅니다. 더 중요한 것은, 이러한 발견들이 한 영역에서의 진전이 다른 영역의 개선을 보장하지 않는다는 점을 보여준다는 것입니다.

연구진이 복잡한 수학적 추론 과제에 고급 모델을 테스트했을 때, 예상대로 이 모델들은 더 적은 오류를 범했습니다. 놀라운 결과는 이 모델들이 실수를 했을 때 스스로 수정할 가능성이 더 낮았다는 점이었습니다. 반면 성능이 낮은 모델들은 더 많은 오류를 범했음에도 외부 입력 없이 스스로 실수를 수정하는 능력이 현저히 뛰어났습니다. 즉 연구진은 정확도와 자기 수정 능력이 상반된 방향으로 움직인다는 역설, 이른바 '정확도-수정 역설'을 발견했습니다. 이는 인공지능 개발의 핵심 가정인 '모델 규모 확대가 지능의 모든 측면을 향상시킨다'는 주장에 도전장을 내밀었습니다. 이 역설은 특히 자기 성찰 능력에 있어 이 가정이 항상 성립하지 않음을 드러냅니다.

오류 심도 가설

이 역설은 중요한 질문을 제기한다: 왜 능력이 낮은 모델이 자기 수정에서 더 뛰어난 성과를 보이는가? 연구진은 모델이 범하는 오류 유형을 분석하여 답을 찾았다. 그들은 강력한 모델이 오류는 적게 범하지만, 범하는 실수는 '깊이'가 있어 수정하기 어렵다는 사실을 발견했다. 반대로 약한 모델은 '얕은' 오류를 범하며, 이는 두 번째 시도에서 수정하기 쉽다.

연구진은 이를 오류 깊이 가설이라 명명했다. 오류는 설정 오류, 논리 오류, 계산 오류로 분류된다. 설정 오류는 문제의 오해에서 비롯된다. 논리 오류는 추론 과정 자체가 근본적으로 잘못되었을 때 발생한다. 계산 오류는 단순한 산술 실수다. GPT-3.5의 경우 대부분의 오류(62%)가 단순 계산 실수, 즉 얕은 오류다. "꼼꼼히 확인하라"는 요청을 받으면 모델은 종종 이러한 계산 실수를 찾아 수정합니다. 그러나 DeepSeek의 경우 오류의 77%가 설정 또는 논리 오류입니다. 이러한 심층적 실패는 모델이 접근 방식을 완전히 재고해야 합니다. 강력한 모델은 초기 추론에 집착하는 경향이 있어 이를 해결하는 데 어려움을 겪습니다. 모델의 지능이 높아질수록 가장 지속적이고 도전적인 오류만 남게 됩니다.

오류 탐지가 반드시 수정으로 이어지지 않는 이유

가장 주목할 만한 연구 결과 중 하나는 오류 탐지가 반드시 오류 수정을 의미하지 않는다는 점이다. 모델이 자신의 답이 틀렸음을 정확히 인지해도 여전히 수정하지 못할 수 있다. 반면 다른 모델은 오류를 거의 감지하지 못하면서도 문제를 반복적으로 재해결함으로써 성능을 향상시킬 수 있습니다. Claude-3-Haiku가 이를 명확히 보여줍니다. Claude는 자체 오류의 10.1%만 감지했는데, 이는 테스트된 모델 중 가장 낮은 수치입니다. 그럼에도 불구하고 29.1%라는 가장 높은 내재적 수정률을 달성했습니다. 반면 GPT-3.5는 오류의 81.5%를 감지했지만 수정률은 26.8%에 그쳤습니다.

이는 일부 모델이 첫 시도가 잘못되었음을 인식하지 못하더라도 다른 접근법으로 문제를 재해결함으로써 '우연히' 오류를 수정할 수 있음을 시사합니다. 이러한 불일치는 실제 적용 시 위험을 초래합니다. 모델이 지나치게 자신감 넘치면서 자체 논리적 오류를 감지하지 못할 경우, 그럴듯하지만 잘못된 설명을 사실로 제시할 수 있습니다. 경우에 따라 모델에게 자신의 실수를 지적하도록 요구하는 것이 상황을 악화시킬 수 있습니다. 모델이 자신의 오류를 잘못 진단하면 결함이 있는 설명에 집착하여 오류를 강화할 수 있습니다. 자체 생성된 힌트는 도움을 주기보다 모델을 잘못된 추론 패턴에 갇히게 할 수 있습니다. 이러한 행동은 인간의 인지 편향과 유사합니다—실수의 원인을 안다고 믿게 되면 더 깊은 문제를 찾지 않게 됩니다.

반복은 도움이 되지만, 모든 모델에 동일하게 적용되지는 않는다

연구에 따르면 반복적 성찰은 종종 결과를 개선하지만, 모든 모델이 동등한 혜택을 보는 것은 아닙니다. 취약한 모델은 여러 차례의 재고찰을 통해 상당한 개선을 보입니다. 각 반복은 표면적 문제를 해결할 또 다른 기회를 제공하기 때문입니다. 강한 모델은 반복을 통해 훨씬 적은 개선을 보인다. 그들의 오류는 반복을 통해 쉽게 해결되지 않는다. 외부 지침 없이는 추가 시도가 종종 다른 말로 같은 결함 있는 추론을 재생산한다. 이 통찰은 자기 개선 기법이 보편적으로 효과적이지 않음을 시사한다. 그 성공은 오류를 해결하는 데 있어 모델의 지능뿐만 아니라 오류의 본질에 달려 있다.

AI 시스템 설계에 주는 시사점

이러한 발견은 실용적 함의를 지닌다. 첫째, 높은 정확도가 자동으로 우수한 자가 교정을 의미한다고 가정해서는 안 된다. 자율적 자기 개선을 위해 설계된 시스템은 최종 성능뿐만 아니라 교정 행동에 대해서도 명시적으로 테스트되어야 한다. 둘째, 서로 다른 모델에는 서로 다른 개입 전략이 필요할 수 있다. 약한 모델은 단순한 검증과 반복으로 혜택을 볼 수 있다. 강력한 모델은 깊은 추론 오류를 극복하기 위해 외부 피드백, 구조화된 검증 또는 도구 기반 검사가 필요할 수 있다. 셋째, 자가 교정 파이프라인은 오류 인식 능력이 있어야 합니다. 특정 작업이 표면적 오류에 취약한지 심층적 오류에 취약한지 이해하는 것은 자가 교정 성공 가능성을 가늠하는 지표가 될 수 있습니다. 마지막으로, 평가 벤치마크는 탐지, 국소화, 교정을 분리해야 합니다. 이를 단일 지표로 취급하면 실제 성능에 영향을 미치는 중대한 약점이 가려집니다.

결론

자기 개선형 AI는 올바른 답을 생성하는 것뿐만 아니라 잘못된 답을 인식하고 진단하며 수정하는 능력에 달려 있습니다. 정확도-수정 역설은 더 강력한 모델이 본질적으로 이 작업에 더 뛰어나지 않음을 보여줍니다. 모델이 발전할수록 오류는 더 깊어지고, 탐지하기 어려워지며, 자기 수정에 더 저항하게 됩니다. 이는 모델 확장만으로는 진전이 불충분함을 의미합니다. 진정한 의미에서 실수로부터 학습할 수 있는 AI 시스템을 원한다면, 자기 수정은 별개의 능력으로 취급되어야 합니다—명시적으로 측정되고, 훈련되며, 지원되어야 합니다.