연구 결과, ‘토큰맥싱’이 개발자의 생산성을 저해하는 것으로 밝혀졌다

경영계에는 “측정되는 것이 관리된다”는 고전적인 격언이 있습니다. 그리고 대개는 추적하는 대상이 무엇이든 그 양이 늘어나게 마련입니다.

소프트웨어 엔지니어들은 코드 줄 수를 시작으로 수십 년간 생산성 지표에 대해 논쟁해 왔다. 하지만 새로운 세대의 AI 코딩 도우미들이 그 어느 때보다 많은 코드를 생성함에 따라, 관리자들이 무엇을 측정해야 할지는 점점 더 불분명해지고 있다.

거대한 토큰 예산—본질적으로 개발자가 사용할 수 있는 AI 처리 능력의 양—은 실리콘밸리 개발자들 사이에서 일종의 지위 상징이 되었다. 하지만 이는 생산성을 바라보는 기이한 방식이다. 결과물에 더 큰 관심을 둔다면, 그 과정에 투입되는 자원을 측정하는 것은 별 의미가 없다. AI 도입을 장려하려는(혹은 토큰을 판매하려는) 목적이라면 논리적일 수 있겠지만, 효율성을 높이는 것이 목표라면 그렇지 않다.

"개발자 생산성 인사이트" 분야의 새로운 유형 기업들로부터 나온 증거를 살펴보자. 이들은 Claude Code, Cursor, Codex와 같은 도구를 사용하는 개발자들이 이전보다 훨씬 더 많은 승인된 코드를 생성한다는 사실을 발견했다. 하지만 동시에 엔지니어들이 승인된 코드를 수정하기 위해 훨씬 더 자주 다시 돌아가야 한다는 점도 밝혀졌는데, 이는 생산성 향상 주장을 무색하게 만든다.

Waydev의 CEO이자 설립자인 알렉스 시르세이(Alex Circei)는 이러한 역학을 추적하기 위한 인텔리전스 레이어를 구축하고 있다. 그의 회사는 1만 명 이상의 소프트웨어 엔지니어를 고용한 50여 개의 고객사와 협력하고 있다. (시르세이는 과거 테크크런치에 기고한 적이 있지만, 이 기자는 그를 직접 만난 적은 없다.)

그는 엔지니어링 관리자들이 80%에서 90%의 코드 승인률을 보고 있다고 말합니다. 이는 개발자들이 승인하고 유지하는 AI 생성 코드의 비율을 의미합니다. 그러나 그들은 엔지니어들이 그 후 몇 주 동안 해당 코드를 수정해야 할 때 발생하는 후속 변경을 간과하고 있으며, 이로 인해 실제 장기적인 승인률은 10%에서 30% 사이로 떨어집니다.

AI 코딩 도구의 부상으로 인해, 2017년 개발자 분석 서비스를 제공하기 위해 설립된 Waydev는 급속한 코딩 도구의 확산에 대응하기 위해 지난 6개월 동안 플랫폼을 완전히 개편했다. 현재 이 회사는 AI 에이전트가 생성한 메타데이터를 추적하는 새로운 도구를 출시하고 있으며, 코드의 품질과 비용에 대한 분석을 제공함으로써 엔지니어링 매니저들이 AI 도입과 그 효과성에 대해 더 깊은 통찰력을 얻을 수 있도록 돕고 있다.

분석 기업들은 발견한 문제점을 부각할 유인이 있지만, 대기업들이 여전히 AI 도구를 효율적으로 활용하는 방법을 모색 중이라는 증거가 쌓이고 있다. 주요 기업들도 이에 주목하고 있다. 아틀라시안(Atlassian)은 지난해 고객들이 코딩 에이전트의 투자 수익률을 파악할 수 있도록 돕기 위해 또 다른 엔지니어링 인텔리전스 스타트업인 DX를 10억 달러에 인수했다.

업계 전반의 데이터는 일관된 사실을 보여줍니다. 작성되는 코드의 양은 늘어나고 있지만, 그 중 불균형적으로 많은 양이 제대로 정착되지 못하고 있습니다.

이 분야의 또 다른 기업인 GitClear는 지난 1월 AI 도구가 생산성을 높였다는 보고서를 발표했다. 그러나 해당 데이터는 또한 "AI를 정기적으로 사용하는 사용자의 코드 교체율이 AI를 사용하지 않는 사용자보다 평균 9.4배 더 높았다"는 사실을 보여주었는데, 이는 도구가 제공한 생산성 향상 효과의 두 배 이상에 달하는 수치다.

엔지니어링 분석 플랫폼인 파로스 AI(Faros AI)는 2026년 3월 보고서를 위해 2년간의 고객 데이터를 분석했습니다. 그 결과, AI 도입률이 높은 환경에서 코드 이직률(추가된 코드 줄 수 대비 삭제된 코드 줄 수)이 861% 증가한 것으로 나타났습니다.

AI 통합 엔지니어링용 인텔리전스 플랫폼으로 자칭하는 젤리피시(Jellyfish)는 2026년 1분기에 7,548명의 엔지니어에 대한 데이터를 수집했다. 이 회사는 토큰 예산이 가장 많은 엔지니어들이 가장 많은 풀 리퀘스트(공유 코드베이스에 대한 변경 제안)를 생성했지만, 생산성 향상은 비례하지 않았다는 사실을 발견했다. 이들은 토큰 비용은 10배 더 들었지만 처리량은 2배에 그쳤다. 즉, 이러한 도구들은 가치는 창출하지 못하고 양만 늘리고 있는 셈이다.

개발자들과 이야기를 나눠보면 이러한 통계가 사실임을 알 수 있습니다. 개발자들은 이러한 도구의 새로운 기능을 누리고 있음에도 불구하고, 코드 검토 부담과 기술적 부채가 쌓여가고 있음을 느끼고 있습니다. 흔히 발견되는 차이점 중 하나는 시니어 엔지니어와 주니어 엔지니어 간의 격차로, 주니어 엔지니어들은 AI가 생성한 코드를 훨씬 더 많이 수용하고, 결과적으로 더 많은 양의 코드를 다시 작성해야 하는 상황에 직면합니다.

그럼에도 개발자들은 AI 어시스턴트가 정확히 무엇을 하는지 이해하려고 노력하는 중이지만, 당분간 이를 포기할 생각은 없습니다.

"이것은 소프트웨어 개발의 새로운 시대이며, 우리는 적응해야 합니다. 기업들도 어쩔 수 없이 적응해야만 합니다."라고 시르세이는 테크크런치에 말했다. "이는 일시적인 유행이 아닙니다."