집11개의 최첨단 인공지능 시스템과 인간의 아날로그 시계 판독 능력을 비교한 획기적인 평가에서 현재 머신러닝 아키텍처의 심각한 취약점이 드러났습니다. 인간 참가자들은 89.1%의 놀라운 시간 판독 정확도를 보였지만, 동일한 테스트 조건에서 구글의 최고 성능 AI 모델조차도 13.3%의 성공률에 불과했습니다.
알렉 사파(Alek Safar) 연구원이 주도한 ClockBench 조사는 어린이들이 일반적으로 습득하는 기본적인 시각적 추론 작업이 가장 정교한 AI 알고리즘에도 계속해서 도전하고 있다는 점을 강조합니다. 이 엄격한 평가에서는 특수 제작된 180개의 아날로그 시계 디자인을 사용하여 Google, OpenAI, Anthropic 등 업계 리더의 플랫폼을 조사했습니다.
이러한 결과는 신경망이 시각 데이터를 처리하고 해석하는 방식에 대한 보다 심층적인 구조적 문제를 지적합니다. "아날로그 시계를 정확하게 판독하려면 시각적 맥락에서 정교한 공간 추론이 필요합니다."라고 Safar은 발표 연구에서 설명합니다. 이 다단계 인지 과정에는 손 인식, 위치 분석, 수치 변환 등의 작업이 포함되며, 이러한 작업은 AI의 중요한 단점을 드러냅니다.
특히 오류 패턴의 대조가 두드러집니다. 사람의 실수는 일반적으로 약 3분 정도의 경미한 편차를 보이는 반면, AI 시스템은 평균 1~3시간의 매우 부정확한 추정치를 생성하여 사실상 표준 시계 화면에서 무작위로 추측하는 것과 같았습니다.
주요 성능 제한 사항
인공지능 플랫폼은 다음과 같은 부분에서 현저한 어려움을 보였습니다:
- 로마 숫자 시계 화면(정확도 3.2%에 불과)
- 역방향 또는 미러링된 시계 방향
- 시각적으로 복잡한 배경 및 예술적 디자인
- 초침 위치의 정밀한 측정
AI 시스템이 초기 시계 판독값을 정확하게 해석한 경우, 이후 변환 및 산술과 같은 시간 기반 계산에서 탁월한 성능을 보인다는 흥미로운 관찰 결과가 나타났습니다. 이는 주요 장애물이 수학적 처리 능력보다는 시각적 이해력에 있음을 나타냅니다.
업계 비교 분석
Google의 Gemini 2.5 Pro는 13.3%의 정확도로 상용 제품을 선도했으며, Gemini 2.5 Flash가 10.5%로 그 뒤를 바짝 쫓았습니다. OpenAI의 GPT-5는 8.4%의 정답률을 기록한 반면, Anthropic의 Claude 모델은 4.2%, Claude 4.1 Opus는 5.6%에 불과해 저조한 성능을 보였습니다.
xAI의 Grok 4는 0.7%의 정확도로 특히 우려스러운 결과를 나타냈는데, 이는 실제로 잘못된 구성이 20.6%에 불과함에도 불구하고 유효한 시계 표시의 63%를 불가능한 시간으로 잘못 식별했기 때문입니다.
AI 발전을 위한 근본적인 시사점
이 연구는 ARC-AGI 및 SimpleBench와 같은 이니셔티브에서 예시된 '인간-단순, AI-복합' 벤치마크의 패러다임을 확장합니다. 인공지능은 수많은 지식 기반 평가와 전문 시험에서 초인적인 성능을 달성했지만, 원시적인 시각적 추론은 지속적인 과제를 안고 있습니다.
Safar의 분석에 따르면 모델 크기와 학습 데이터를 확장하는 현재의 방법론으로는 이러한 시각적 처리의 한계를 효과적으로 해결하지 못할 수 있습니다. 두 가지 가설적 요인으로는 훈련 말뭉치에서 아날로그 시계의 불충분한 표현과 그래픽 시계 구성 요소와 텍스트 표현 사이의 공간적 관계를 변환하는 데 내재된 어려움을 들 수 있습니다.
ClockBench는 명확하지 않은 AI 기능 격차를 발견하기 위해 설계된 진단 도구의 확장 제품군에 합류했습니다. 평가 무결성을 유지하기 위해 전체 데이터 세트는 향후 모델 훈련의 오염을 방지하기 위해 제한되며, 검증을 위해 통제된 샘플 하위 집합만 사용할 수 있습니다.
이번 연구 결과는 기존 아키텍처의 점진적인 개선으로 이러한 추론의 결함을 메울 수 있는지, 아니면 다른 AI 영역에서 테스트 시간 계산과 같은 혁신으로 가능해진 역사적 돌파구를 반영하는 근본적으로 새로운 접근법이 필요한지에 대한 중요한 의문을 불러일으킵니다.
가까운 미래에 기계식 아날로그 시계는 인간 지능의 의외로 강력한 벤치마크로서, 우리가 쉽게 해석할 수 있는 기술로 최첨단 계산 기술을 계속 당혹스럽게 만들 것입니다.
