지푸, GLM-5.1 스피드 버전 공개: 초당 400 토큰 처리로 새로운 글로벌 API 기록 수립

5월 22일, 지푸(02513.HK)는 자본 시장과 기술 업계 전반에 큰 파장을 일으켰다. 장중 주가가 22% 이상 급등하며 시가총액이 4,500억 홍콩 달러를 넘어섰다. 같은 날, 이 회사는 기업 고객을 위한 주요 신제품인 GLM-5.1 고속 API(GLM-5.1-highspeed)를 출시했다.

실제 테스트에서 이 모델은 초당 400 토큰(400 tokens/s)이라는 놀라운 성능을 보여주며, 전 세계 주요 대형 모델 제공업체들의 공식 API가 가진 기존 속도 한계를 뛰어넘었습니다. 이를 쉽게 설명하자면, 창작자가 며칠 동안 쉬지 않고 작업해야만 생산할 수 있었던 분량의 텍스트를 이제 단 1분 만에 완성할 수 있게 된 것입니다. 엔지니어가 3일 동안 타이핑해야만 완료할 수 있었던 시스템 재설계 작업도 커피 한 잔을 마시는 시간 안에 완전히 수행할 수 있게 되었습니다.

주요 특징:

관행의 파기: 전통적으로 업계에서는 “빠르다”는 것이 “작거나 가볍다”는 것을 의미한다고 여겨왔습니다. Zhipu는 **“풀스케일 플래그십 성능”과 “극저지연”**을 매끄럽게 결합한 국내 최초의 대형 모델 제공업체입니다.

놀라운 성과: 출력 속도는 400 토큰/초에 달하며, 20만 토큰 길이의 컨텍스트 윈도우를 지원하고, 최대 단일 출력 12만 8천 토큰을 처리할 수 있습니다.

핵심 기술: 지푸의 GLM 팀과 TileRT 팀의 긴밀한 협력을 통해 개발된 이 모델은 시스템 수준의 추론 생태계 전체를 재구성합니다.

대상별 시범 테스트: 현재 지푸의 MaaS(Model as a Service) 오픈 플랫폼을 통해 선별된 기업 고객에게 제공되고 있습니다.

'즉각적인 응답'은 실제로 어떤 느낌일까요? 속도가 중요한 시나리오에서의 획기적인 발전

지난 1년 동안 국내 대형 모델의 코딩(프로그래밍) 및 에이전트(지능) 협업 기능은 상당한 진전을 이루었습니다. 하지만 “속도”는 여전히 긴 체인의 고주파 상호작용 작업에 있어 핵심적인 병목 현상으로 남아 있습니다. 지푸는 대형 모델이 단순한 ‘도구’에서 ‘실시간 파트너’로 전환되는 변화가 400 토큰/초에서 비로소 진정한 변혁을 가져온다고 설명합니다:

AI 프로그래밍(코딩 에이전트): 기존의 지능형 에이전트는 종종 수십 건의 파일 간 호출과 긴 텍스트 정렬을 필요로 합니다. 단 한 번의 응답 지연만으로도 전체 작업 시간이 10분 이상으로 늘어날 수 있습니다. 고속 버전을 사용하면 코드 작성 속도가 10배 빨라진 듯한 느낌을 받게 됩니다. 사용자가 입력하는 즉시 함수, 인터페이스, 그리고 기본 호출 체인이 즉시 전개되어 대규모 엔지니어링 재작업에 따른 대기 시간이 완전히 사라집니다.

실시간 상호작용 및 3D 게임: 극히 낮은 지연 시간 덕분에 모델은 게임 세계 내 실시간 동적 생성, 즉각적인 웹 UI 구축, 지속적인 사용자 입력을 기반으로 한 즉각적인 시스템 상태 변경을 모두 지연 없이 처리할 수 있습니다.

비즈니스 의사결정 클러스터: 다중 에이전트 병렬 시뮬레이션 및 실시간 빅데이터 분석에서 고속 버전은 복잡한 웹 에이전트 클러스터의 다중 성격 병렬 응답을 30초 이내에 완료할 수 있도록 지원하여, 고주파수 정량화 및 시뮬레이션의 효율성 한계를 획기적으로 높입니다.

원활한 실시간 음성: AI 코칭 및 스마트 고객 서비스 시나리오에서 초고속 응답은 음성 인식(ASR)부터 합성(TTS)에 이르는 지연 시간을 거의 제로에 가깝게 만들어, 진정으로 자연스럽고 일정한 속도의 인간과 같은 대화 흐름을 제공합니다.

'블랙 테크'의 3가지 층위 해부: 어떻게 400 토큰/초를 달성했는가?

이 세계 속도 기록은 주로 Zhipu의 GLM 팀과 TileRT 팀이 공동으로 개발한 시스템 수준의 엔지니어링 최적화의 결과입니다. 400 토큰/s는 단순히 눈부신 ‘최고 기록’이 아니라, 안정적이고 실제 운영에 바로 적용 가능한 성능입니다. 이 최적화의 기본 논리는 다음 세 가지 계층으로 나뉩니다:

[Infrastructure Layer: Cluster/Load Balancing Collaboration] ─► [Scheduling System Layer: Dynamic Batching & KV Cache Scheduling] ─► [Inference Engine Layer: TileRT Architecture Rewriting Core Path] ─► 400 tokens/s Stable Output

추론 엔진 계층 (TileRT 심층 맞춤화): GLM-5.1의 고유한 네트워크 아키텍처를 기반으로, 팀은 가장 중요한 추론 경로와 기반 연산자를 완전히 재작성하여 단일 GPU 처리량과 하드웨어 실행 효율이 물리적 한계에 근접하도록 했습니다.

스케줄링 시스템 계층 (지능형 병합): 매우 공격적인 동적 배칭, 요청 병합 기술, 그리고 획기적인 KV 캐시 스케줄링 최적화를 도입하여, 높은 동시성과 다중 사용자 요청 상황에서 기존 모델이 직면하는 테일 지연 시간 문제를 효과적으로 해결했습니다.

인프라 계층 (클러스터 협업): 네트워킹 배포, 네트워크 링크 토폴로지, 추론 클러스터의 초고주파 부하 분산을 중심으로 한 포괄적인 하드웨어 수준의 협업 최적화를 통해, 전체 파이프라인에 걸쳐 컴퓨팅 성능이 손실 없이 전달되도록 보장합니다.

업계 재평가: AI의 후반부는 ‘가치와 시간’의 정산

UBS와 같은 세계적인 분석 기관들이 최근 홍콩 주식 기술 포럼에서 강조했듯이, 이번 AI 주도 산업 재평가는 모바일 인터넷 시대의 ‘트래픽 및 시간 수익화’와는 근본적으로 다릅니다. AI의 수익 창출 및 생존 철학은 사용자를 소프트웨어에 묶어두는 것이 아니라, “사용자와 기업이 시간을 절약하고, 효율성을 높이며, 창출된 가치를 공유할 수 있도록 돕는 것”에 있습니다.

Zhipu의 GLM-5.1 고속 버전은 바로 이러한 고충을 해결합니다. 각 토큰을 생성하는 데 드는 비용과 시간을 원래의 극히 일부로 압축함으로써, 기업들은 “높은 지능(대형 모델 선택, 그러나 속도 저하)”과 “속도(소형 모델 선택, 그러나 성능 저하)” 사이에서 고통스러운 절충을 더 이상 할 필요가 없게 됩니다.