알고리즘의 이득이 우선시되면서 모델 확장의 시대는 끝났습니다.

지난 10년 동안 인공 지능은 주로 규모 확대를 통해 발전해 왔습니다. 더 큰 데이터 세트, 더 많은 매개변수, 더 뛰어난 연산 능력으로 더 큰 규모의 모델을 구축하기 위해 경쟁하는 팀이 성공했습니다. 수조 개의 매개변수와 페타바이트의 학습 데이터로 진전이 측정되었는데, 이 시기를 우리는 확장 시대라고 부릅니다. 이러한 접근 방식이 오늘날 AI 기능의 상당 부분을 이끌어 왔지만, 단순히 모델을 더 크게 만드는 것이 더 이상 가장 효과적이고 지능적이며 지속 가능한 경로가 아닌 시점에 다다르고 있습니다. 그 결과, 단순한 규모에서 알고리즘의 혁신으로 초점이 이동하고 있습니다. 이 글에서는 확장만으로는 더 이상 충분하지 않은 이유와 다음 AI 발전의 물결이 알고리즘 혁신에 어떻게 좌우될지 살펴봅니다.

모델 스케일링의 수익 감소 법칙

스케일링 시대는 탄탄한 경험적 토대 위에 구축되었습니다. 연구자들은 모델과 데이터 세트의 크기를 늘리면 예측 가능한 성능 향상을 가져온다는 사실을 일관되게 발견했으며, 이 패턴은 스케일링 법칙으로 알려지게 되었습니다. 이러한 원칙은 선도적인 AI 연구소의 기본 전략이 되었고, 점점 더 큰 시스템을 개발하기 위한 경쟁을 촉발시켰습니다. 이러한 경쟁을 통해 오늘날의 많은 AI 애플리케이션을 구동하는 대규모 언어 모델과 기반 모델이 탄생했습니다. 그러나 모든 기하급수적인 추세와 마찬가지로, 이제 AI 확장 곡선은 정체기에 접어들기 시작했습니다. 더 큰 규모의 모델을 개발하는 데 드는 비용이 급격히 증가하고 있습니다. 최첨단 시스템을 학습시키는 데는 이제 작은 도시만큼의 에너지를 소비할 수 있어 환경 문제가 심각하게 제기되고 있습니다. 재정적 지출이 너무 막대해져 일부 조직만 참여할 수 있게 되었습니다. 동시에 수익이 감소하고 있다는 분명한 신호가 나타나고 있습니다. 매개변수 수를 두 배로 늘린다고 해서 더 이상 기능이 비례적으로 향상되지 않습니다. 개선은 점진적으로 이루어지고 있으며, 새로운 기능을 구현하기보다는 대부분 기존 지식을 개선하는 데 그치고 있습니다. 추가로 투자되는 달러와 와트당 얻을 수 있는 가치는 점점 줄어들고 있습니다. 확장 방식은 실용적이고 경제적인 한계에 다다르고 있습니다.

새로운 개척지: 알고리즘 효율성

스케일링 법칙의 제약으로 인해 연구자들은 알고리즘 효율성으로 방향을 전환하게 되었습니다. 이제는 계산의 무차별 대입에만 의존하기보다는 리소스를 더 효과적으로 사용하는 더 스마트한 알고리즘을 설계하는 데 중점을 두고 있습니다. 최근의 발전은 이러한 전환의 가능성을 강조합니다. 예를 들어, 주의 집중 메커니즘을 기반으로 하는 트랜스포머 아키텍처는 수년 동안 AI 분야에서 지배적인 역할을 해왔습니다. 하지만 이 메커니즘은 시퀀스 길이에 따라 계산 요구 사항이 급격히 증가한다는 근본적인 한계를 가지고 있습니다. Mamba와 같은 상태 공간 모델(SSM)이 강력한 대안으로 떠오르고 있습니다. 선택적 추론을 더욱 용이하게 함으로써 SSM은 훨씬 더 빠른 속도로 작동하고 훨씬 적은 메모리를 사용하면서도 훨씬 더 큰 트랜스포머와 비슷한 성능을 달성할 수 있습니다.

알고리즘 효율성의 또 다른 예는 전문가 혼합(MoE) 모델의 등장입니다. 모든 입력에 대해 전체 대규모 네트워크를 사용하는 대신, MoE 시스템은 소규모 전문 네트워크의 가장 관련성이 높은 하위 집합, 즉 "전문가"에게만 작업을 지시합니다. 전체 모델에 수십억 개의 매개변수가 포함될 수 있지만 각 계산은 일부만 활용합니다. 방대한 도서관이 있지만 매번 모든 책을 읽는 것이 아니라 질문에 답하기 위해 필요한 몇 권의 책만 확인하는 것과 같다고 생각하면 됩니다. 그 결과 거대한 모델의 지식 용량과 훨씬 작은 모델의 운영 효율성이라는 결과를 얻을 수 있습니다.

이러한 개념을 통합한 또 다른 예로는 다중 헤드 잠재 주의(MLA)로 강화된 전문가 혼합 모델인 DeepSeek-V3가 있습니다. MLA는 키-값 상태를 압축하여 기존의 주의력을 개선함으로써 모델이 SSM과 유사하게 긴 시퀀스를 효율적으로 처리할 수 있도록 하면서도 Transformers의 장점을 유지합니다. 총 2,360억 개의 매개변수가 있지만 작업당 활성화되는 비율은 극히 일부에 불과한 DeepSeek-V3는 코딩 및 논리적 추론과 같은 영역에서 최고의 성능을 달성하면서도 동일한 규모의 모델보다 더 실용적이고 리소스 사용량이 적습니다.

이는 고립된 사례가 아닙니다. 더 스마트하고 효율적인 디자인을 향한 광범위한 움직임의 신호탄입니다. 연구원들은 이제 성능 저하 없이 더 빠르고, 더 작고, 데이터 의존도를 낮추는 모델을 만드는 방법에 집중하고 있습니다.

이러한 변화가 중요한 이유

규모를 우선시하는 것에서 알고리즘 혁신을 강조하는 것으로의 전환은 AI 환경에 중대한 영향을 미칩니다. 첫째, AI 개발의 민주화입니다. 혁신은 더 이상 가장 강력한 슈퍼컴퓨터에 대한 접근성에만 의존하지 않습니다. 이제 소규모의 숙련된 연구팀도 막대한 예산으로 개발된 모델을 능가하는 새로운 설계를 고안할 수 있습니다. 이는 혁신의 방향을 자원 경쟁에서 아이디어와 전문성 경쟁으로 바꾸어 놓았습니다. 결과적으로 대학, 스타트업, 독립 연구소가 더 중요한 역할을 맡아 대기업의 지배력에 도전할 수 있습니다.

둘째, AI가 실제 애플리케이션에 더 실용적으로 활용될 수 있습니다. 5천억 개의 매개변수가 있는 모델은 연구 논문에서는 인상적으로 보일 수 있지만, 그 엄청난 크기 때문에 배포하기가 어렵고 비용이 많이 듭니다. 반면, Mamba 또는 전문가 혼합 모델과 같은 효율적인 대안은 엣지 디바이스를 포함한 표준 하드웨어에서 작동할 수 있습니다. 이러한 실용성은 의료 진단 시스템이나 휴대폰의 실시간 번역 기능과 같은 일상적인 도구에 AI를 통합하는 데 필수적입니다.

셋째, 지속 가능성 문제를 해결합니다. 대규모 AI 모델을 구축하고 운영하는 데 필요한 에너지는 심각한 환경 문제가 되고 있습니다. 효율성에 초점을 맞추면 AI 개발과 관련된 탄소 발자국을 크게 줄일 수 있습니다.

다음 단계: 인텔리전스 설계의 시대

우리는 인텔리전스 디자인의 시대라고 할 수 있는 시대로 접어들고 있습니다. "모델을 얼마나 크게 구축할 수 있는가?"에서 "어떻게 하면 본질적으로 더 지능적이고 효율적인 모델을 설계할 수 있는가?"로 중심 질문이 바뀌고 있습니다.

이러한 진화는 여러 핵심 연구 영역에서 혁신을 촉진할 것입니다. AI 모델 아키텍처의 발전이 예상됩니다. 앞서 언급한 상태 공간 모델을 비롯한 새로운 모델들은 신경망이 정보를 처리하는 방식을 재정의할 수 있습니다. 예를 들어, 동적 시스템에서 영감을 얻은 아키텍처는 이미 실험 환경에서 향상된 기능을 입증하고 있습니다. 또 다른 핵심 영역은 훨씬 적은 수의 예제로도 모델이 효과적으로 학습할 수 있는 훈련 기법이 될 것입니다. 소수 샷 및 제로 샷 학습의 발전으로 AI의 데이터 효율성이 향상되고 있으며, 활성화 스티어링과 같은 방법으로 재학습 없이도 행동 개선이 가능해졌습니다. 또한 학습 후 개선 및 합성 데이터 생성은 학습 요구 사항을 최대 10,000배까지 대폭 줄여주고 있습니다.

또한 신경 기호 AI와 같은 하이브리드 모델에 대한 관심도 높아지고 있습니다. 신경망의 패턴 인식과 기호 시스템의 논리적 엄밀성을 결합한 신경 기호 AI는 2025년 설명력을 높이고 데이터 의존도를 낮추면서 주목을 받고 있습니다. 주목할 만한 사례로는 2025년 국제 수학 올림피아드(IMO)에서 구글 딥마인드가 금메달을 획득하는 데 도움을 준 AlphaGeometry 2와 AlphaProof가 있습니다. 목표는 단순히 다음 단어를 통계적으로 예측하는 데 그치지 않고 보다 인간적인 방식으로 세상을 이해하고 추론하는 시스템을 만드는 것입니다.

결론

스케일링 시대는 AI의 놀라운 발전을 가져온 필수 불가결한 시대였습니다. 이는 달성 가능한 것의 한계를 뛰어넘어 오늘날 우리가 사용하는 기반 기술을 만들어냈습니다. 하지만 모든 성숙기 기술이 그렇듯 초기 전략은 결국 한계에 도달하게 됩니다. 다음 주요 혁신은 기존 스택에 더 많은 레이어를 추가하는 데서 비롯되지 않을 것입니다. 그 대신 스택 자체를 재구상하는 데서 비롯될 것입니다.

미래는 새로운 알고리즘과 아키텍처, 머신러닝의 핵심 과학을 개척하는 사람들의 몫입니다. 지능은 매개변수의 수가 아니라 설계의 정교함에 의해 측정되는 미래입니다. 더 똑똑한 알고리즘에 대한 추구는 이제 시작에 불과합니다. 이러한 변화는 더 포용적이고, 환경에 책임감 있고, 진정으로 지능적인 AI를 위한 길을 열어줍니다.