AI 컴퓨팅을 향한 사냥: 세레브라스가 다음 큰 물결인가?

AI 모델을 실행하기 위한 컴퓨팅 파워에 대한 급증하는 수요는 계속 강해지고 있으나, 업계 참여자들은 적절한 하드웨어를 확보하고 데이터 센터에 이를 배포하여 수익 창출을 시작한다는 두 가지 중대한 장벽에 직면해 있습니다.

General Compute는 모델이 학습을 거치는 것이 아니라 사용자에게 응답하는 배포 단계에 특화된 새로운 인퍼런스 중심의 네오클라우드 제공업체로, AI 생태계의 진화하는 방향성을 강조하는 솔루션을 제공합니다. 이러한 전략적 이점은 FUSE VC가 주도하고 Carya Venture Partners 및 Village Global Ventures가 추가 참여한 6,000만 달러의 사후 가치로 1,500만 달러 시드 펀딩 라운드에 성공하는 데 기여했습니다.

최적의 칩을 식별하는 것이 첫 번째 과제입니다. GPU 수요가 급증했지만, 학습된 AI 모델을 실행하는 데 있어 가장 효율적인 선택이 아니라는 인식이 점점 더 커지고 있습니다. 인퍼런스에 필요한 컴퓨팅 요구사항은 학습과 크게 다르므로, 이러한 목적을 위해 특별히 설계된 새로운 클래스의 칩 개발이 촉진되고 있습니다. 12월 Nvidia의 Groq 200억 달러 인수와 지난주 Cerebras의 570억 달러 IPO는 이러한 전환을 강조합니다.

Groq와 Cerebras의 용량 제약 상황에서 General Compute의 공동 창업자이자 CEO인 Finn Puklowski와 CTO인 Jason Goodison은 대안을 찾아냈습니다. 그들은 인텔의 지원을 받는 인퍼런스 솔루션 전문 칩 제조업체이자 실리콘 밸리에서 상대적으로 주목을 덜 받은 SambaNova와 파트너십을 맺었습니다.

SambaNova가 올해 말 새로운 칩을 출시하면 이러한 역학이 바뀔 수 있습니다. 이 아키텍처는 더 큰 유연성을 제공하며 인퍼런스 계산 중 컨텍스트를 저장하기 위해 더 많은 메모리를 활용합니다. SambaNova는 이 칩이 GPU뿐만 아니라 Groq와 Cerebras와 같은 경쟁사의 전문 하드웨어보다 성능이 뛰어나다고 주장합니다. Puklowski에 따르면, 새로운 칩은 표준 GPU의 초당 약 250 토큰에 비해 초당 600~700 토큰의 속도를 달성할 것입니다.

General Compute는 SambaNova의 SN50 칩 3억 달러 어치를 주문했으며, 이를 배포하는 최초의 네오클라우드가 되기를 목표로 하고 있습니다.

이 칩들은 두 번째 주요 과제인 배포 위치 문제도 해결합니다. 이들은 수냉식이 아닌 공냉식이며 전력 소비가 적으므로, 새로운 인프라 투자 없이 기존 데이터 센터 시설에 통합될 수 있습니다.

Puklowski는 General Compute이 제3자 시설에 자체 하드웨어를 설치하는 콜로케이션 협정을 추진하고 있습니다. 이러한 파트너십은 전통적인 데이터 센터 제공업체를 넘어, 비트코인 채굴 비용이 종종 시장 가치를 초과함에 따라 인프라를 재목적화하려는 암호화폐 채굴자까지 확장됩니다.

General Compute은 지난주 클라우드 서비스를 출시했으며, 현재 강력한 오픈소스 대규모 언어 모델인 MiniMax 2.7에 대해 가장 빠른 성능을 제공한다고 주장합니다.

2021년 인퍼런스 붐 초기 단계에서 Groq에 투자한 벤처 투자자 Joe Hasselmann은 올해 AI에 초점을 맞춘 새로운 펀드인 Evercrest Capital Partners를 설립했습니다. 그는 General Compute을 자신의 첫 번째 투자로 선정했습니다. Hasselmann은 SambaNova의 General Compute 파트너십과 Coreweave의 Nvidia 관계, 그리고 Groq의 칩 제조와 이전 클라우드 제공의 결합 사이에 유사점을 봅니다.

Hasselmann은 “그들은 성장률이 높은 환경에 칩을 배치할 다양한 고객 기반이 필요합니다.”라고 언급했습니다. “General Compute이 SambaNova에 베팅하는 것처럼, SambaNova도 General Compute에 베팅하고 있습니다.”

핵심 질문은 여전히 어떤 컴퓨터 아키텍처가 AI의 미래에서 가장 많은 가치를 포착할 것인가입니다. 인퍼런스 클라우드는 단일 제공업체가 지배하지 않고 속도와 비용이 주요 경쟁 요인이 되는 다중 모델 및 에이전트 환경에 대한 암묵적인 베팅을 나타냅니다. 이는 고객에게 여러 모델에 대한 접근을 제공하여 토큰 지출을 최적화할 수 있는 능력을 강조하는 OpenRouter의 최근 1억 1,300만 달러 시리즈 B 자금 조달에 반영됩니다.

속도는 가격 책정과 기능에 중요합니다. Puklowski는 시간 단위 코딩 에이전트 워크로드를 5~10분으로 줄이고, 효율적인 대화를 위한 더 빠른 인퍼런스를 가능하게 함으로써 고객 서비스용 오디오 에이전트를 더 경제적으로 만드는 것을 목표로 합니다.

Puklowski는 TechCrunch에게 “ChatGPT를 사용하여 초당 50 토큰을 생성한다면, 이는 여전히 인간 읽기 속도보다 훨씬 빠릅니다.”라고 말했습니다. “그러나 에이전트가 우리의 대리인으로 읽거나 데이터베이스를 쿼리하는 에이전트 간 상호작용으로 전환됨에 따라, 그들은 훨씬 더 높은 속도로 작동해야 합니다.”