AI 모델 실행이 메모리 문제로 대두되다

AI 인프라 비용에 대한 논의는 종종 엔비디아(Nvidia)와 GPU에 집중되지만, 메모리는 이제 이 퍼즐의 핵심 요소로 부상하고 있습니다. 하이퍼스케일러들이 새로운 데이터 센터에 수십억 달러를 투자함에 따라, 지난 1년 동안 DRAM 칩 가격은 약 7배나 급등했습니다.

동시에, 적절한 데이터가 적절한 시점에 적절한 AI 에이전트에 도달하도록 이 메모리를 효율적으로 관리하는 분야에 대한 관심이 높아지고 있다. 이 분야에서 뛰어난 기업들은 더 적은 토큰으로 동일한 쿼리를 실행할 수 있으며, 이러한 차이는 경쟁이 치열한 시장에서 생존을 좌우할 수 있다.

반도체 애널리스트 댄 오라플린(Dan O’Laughlin)은 자신의 서브스택(Substack)에서 웨카(Weka)의 최고 AI 책임자(CAO)인 발 버코비치(Val Bercovici)와의 대화를 소개하며 메모리 칩의 중요성에 대해 설득력 있는 관점을 제시했다. 두 전문가 모두 반도체 분야 출신인 만큼 논의는 하드웨어 쪽으로 치우쳐 있지만, AI 소프트웨어에 미치는 영향 또한 그만큼 중요하다.

특히 버코비치가 앤트로픽(Anthropic)의 프롬프트 캐싱 문서화가 점점 복잡해지고 있다고 언급한 대목이 눈에 띕니다:

단서는 앤트로픽(Anthropic)의 프롬프트 캐싱 요금 페이지에 있습니다. 6~7개월 전, 특히 클로드 코드(Claude Code) 출시 당시만 해도 이 페이지는 "캐싱을 사용하세요, 더 저렴하니까요"라는 식의 간단한 내용으로 시작했습니다. 하지만 지금은 미리 구매해야 할 캐시 쓰기 횟수에 대한 조언이 가득한 백과사전처럼 읽힙니다. 5분이나 1시간 단위와 같은 업계에서 흔히 볼 수 있는 티어(tier)는 있지만, 그보다 더 긴 기간은 없습니다. 이는 의미심장한 세부 사항입니다. 물론, 미리 구매한 캐시 쓰기 횟수에 따라 캐시 읽기 요금과 관련된 다양한 차익 거래 기회도 존재합니다.

핵심 질문은 클로드가 프롬프트를 캐시 메모리에 얼마나 오래 보관하느냐입니다. 5분 단위의 시간대를 구매할 수도 있고, 더 비싼 1시간 단위를 선택할 수도 있습니다. 캐시에 남아 있는 데이터에 접근하는 것은 훨씬 저렴하므로, 효과적인 관리를 통해 상당한 비용 절감 효과를 얻을 수 있습니다. 하지만 한 가지 주의할 점이 있습니다. 쿼리에 새로운 데이터가 추가될 때마다 캐시에서 다른 데이터가 밀려날 수 있다는 점입니다.

세부 사항은 복잡하지만 결론은 명확합니다. AI 모델 내 메모리 관리는 미래 AI의 주요 요소가 될 것입니다. 이를 마스터하는 기업은 상당한 경쟁 우위를 확보하게 될 것입니다.

이 신흥 분야에는 발전의 여지가 상당히 많습니다. 지난 10월, 저는 'TensorMesh'라는 스타트업에 대해 글을 쓴 바 있는데, 이 회사는 '캐시 최적화'로 알려진 스택 계층을 연구하고 있습니다.

TechCrunch Founder Summit 2026: 티켓 판매 중

6월 23일 보스턴에서 열리는 '테크크런치 파운더 서밋 2026'에는 1,100명 이상의 창업자가 한자리에 모여 성장, 실행, 실제 비즈니스 확장이라는 주제에 집중하는 하루를 보냅니다. 업계를 주도해 온 창업자와 투자자들로부터 배워보세요. 비슷한 성장 단계를 겪고 있는 동료들과 교류하고, 즉시 적용할 수 있는 실질적인 전략을 얻어 가세요.

패스 구매 시 최대 300달러 할인 혜택을 받거나, 4인 이상 팀을 위한 단체 티켓으로 최대 30% 할인 혜택을 누리세요.

테크크런치 파운더 서밋: 티켓 판매 중

6월 23일 보스턴에서 열리는 '테크크런치 파운더 서밋 2026'에는 1,100명 이상의 창업자가 한자리에 모여 성장, 실행, 실제 비즈니스 확장이라는 주제에 집중하는 하루를 보냅니다. 업계를 선도해 온 창업자와 투자자들로부터 배워보세요. 비슷한 성장 단계를 겪고 있는 동료들과 교류하세요. 행사 후 바로 적용할 수 있는 실질적인 전략을 얻어 가세요

패스 구매 시 최대 $300 할인 또는 4인 이상 팀을 위한 단체 티켓으로 최대 30% 할인 혜택을 받으세요.

스택의 다른 부분에서도 기회는 존재합니다. 예를 들어, 더 아래 단계에서는 데이터 센터가 다양한 유형의 메모리를 어떻게 활용하는지에 대한 문제가 있습니다. (인터뷰에는 DRAM 칩과 HBM을 언제 사용해야 하는지에 대한 통찰력 있는 논의가 포함되어 있지만, 내용이 상당히 기술적입니다.) 스택의 상위 단계에서는 최종 사용자들이 공유 캐시를 효과적으로 활용하기 위해 모델 스웜을 구성하는 방법을 배우고 있습니다.

기업들이 메모리 오케스트레이션 능력을 향상시킬수록 토큰 소비량이 줄어들어 추론 비용이 절감될 것입니다. 동시에 모델들이 각 토큰을 처리하는 효율성이 높아지면서 비용은 더욱 낮아질 것입니다. 서버 비용이 감소함에 따라 현재 수익성이 없다고 여겨지는 많은 애플리케이션들이 점차 수익성 있는 수준에 도달하기 시작할 것입니다.