샤오홍슈, 베이징 대학, 상하이 자오퉁 대학이 하이브리드 어텐션 모델에서 첫 토큰 지연 시간을 3.25배 줄이는 HYPIC을 공개했습니다

대형 모델 서비스의 주요 초점은 단발성 대화에서 검색 증강 질문 답변(RAG), 다중 문서 요약, 그리고 장기 에이전트로 전환되고 있습니다. 이러한 새로운 워크로드는 하나의 요청 프롬프트가 검색된 문서, 기술 설명, 메모리 파일, 이전 대화 라운드 등 의미적으로 독립적인 수십에서 수백 개의 세그먼트로 구성되며, 이들이 결합되어 수만에서 수십만 토큰에 이르는 초장문 컨텍스트를 형성한다는 공통된 특징을 공유합니다. 이러한 규모에서 프리필 단계는 요청당 계산 비용의 대부분을 차지하며 서비스 제공자에게 가장 눈에 띄는 비용이 됩니다. 더 중요한 것은, 캐시 미스가 발생하면 첫 토큰 대기 시간(TTFT)이 수 초까지 급증하여 사용자 경험이 심각하게 저하된다는 점입니다.

업계는 비용 절감을 위해 두 가지 전략을 채택했습니다. 첫 번째는 위치 무관 캐싱(PIC)으로, 엄격한 접두사 제약을 완화하여 각 의미적으로 독립적인 세그먼트를 한 번만 캐시한 후 어떤 접두사에도 연결할 수 있게 합니다. 이는 RAG 및 에이전트의 프롬프트 구성과 완벽하게 부합합니다. 그 핵심 메커니즘은 토큰 축을 따라 직접 연결하는 '연결(splice)'과 교차 세그먼트 컨텍스트를 복원하기 위해 일부 토큰을 다시 계산하는 '보정(correction)'입니다. 두 번째 접근 방식은 하이브리드 어텐션 모델로, 대부분의 전체 어텐션 레이어를 선형 어텐션으로 대체하여 이차 복잡도를 선형으로 줄이고 무제한의 역사를 고정 크기 순환 상태로 압축합니다. MiniMax-M1, Ring-2.5, Qwen3.5, Kimi-Linear 등 최근의 프로덕션 모델들은 레이어의 75% 이상을 선형화하며 전체 어텐션 레이어는 일부만 유지하여 주류 하이브리드 설계를 형성합니다. 예를 들어, Qwen3.5-35B-A3B는 총 40개 레이어 중 30개가 선형 레이어입니다.

핵심 모순은 여기에 있습니다. 기존 PIC은 토큰 단위 키-값(KV) 캐시를 기반으로 작동하는 반면, 선형 어텐션 레이어는 요청 단위 순환 상태만 노출하며 연결이나 보정을 위한 토큰 단위 훅이 부족합니다. 결과적으로 하이브리드 모델의 대부분의 레이어는 기존 PIC 시스템의 기능 범위 밖에 있게 됩니다. 지금까지 하이브리드 어텐션 대형 모델에 대한 위치 무관 캐싱을 제공하는 시스템은 존재하지 않았습니다.

샤오홍슈 대형 모델 추론 팀이 베이징 대학과 상하이 자오퉁 대학과 협력하여 개발한 HYPIC는 하이브리드 어텐션 대형 모델에 PIC를 구현한 최초의 서비스 시스템입니다. 네 가지 프로덕션급 하이브리드 어텐션 모델과 다섯 가지 워크로드에 대한 테스트 결과, HYPIC는 동일한 SLO 하에서 첫 토큰 지연 시간을 평균 3.25배 줄이고 지속 가능한 QPS를 1.66배 증가시키며, 작업 품질은 전체 재계산과 비교하여 단 1.71점의 차이만 발생했습니다. 이 시스템의 핵심 아이디어는 하이브리드 모델 내에서 선형 레이어와 전체 어텐션 레이어를 별도로 처리하여 세 가지 상호 연결된 메커니즘을 통해 레이어 수준 병렬성을 통해 냉간 요청을 가속화하는 것입니다.

선형 레이어의 경우, HYPIC는 "전이 연산자(transition operators)"를 캐시하여 상수 시간 상태 결합을 가능하게 합니다. 가장 단순한 PIC 아날로그 솔루션은 초기 값이 0인 두 세그먼트의 최종 상태를 직접 더하는 것이지만, 이는 단순 선형 어텐션에서는 유효하지만 감쇠, 게이트, 또는 델타 소거(예: RetNet, Mamba2, GLA, DeltaNet, GDN, KDA)가 있는 고급 선형 어텐션에서는 실패합니다. 누락된 핵심 양은 세그먼트의 누적 전이 연산자 $T_C$, 즉 그 내부의 모든 토큰 전이 행렬의 곱입니다. 실제 최종 상태는 $S(C1 \cdot C2) = T(C2) \cdot S(C1) + S(C2)$여야 하지만, 단순 덧셈은 $T(C2)$ 항을 생략하여 구조적 오류를 유발합니다. 테스트 결과, RetNet의 느린 감쇠 헤드는 256 토큰에서 상태 노름의 22%에 해당하는 오류를 보였습니다. HYPIC의 핵심 통찰은 $T_C$와 초기 상태 0의 최종 상태 $S(C|0)$가 접두사와 무관하게 세그먼트 내부 토큰에만 의해 결정된다는 것입니다. 따라서 세그먼트의 첫 프리필 동안 HYPIC는 쌍 $(T_C, S(C|0))$을 캐시하고, 재사용 시 $T_C$의 왼쪽 곱셈 후 덧셈을 적용하여 거의 정확하게 모든 접두사 하에서의 최종 상태를 복원하며, 이는 자연스럽게 전체 선형 어텐션 계열을 커버합니다. Qwen3.5-35B-A3B에 대한 테스트 결과, 결합된 상태는 전체 재계산과 비교하여 $6 \times 10^{-5}$ 차이만 발생하여 FP16 노이즈 범위 내에 있었습니다. 인과적 컨벌루션이나 RoPE가 있는 변형의 경우, HYPIC는 컨벌루션 상태 워밍업과 상태 재회전이라는 두 가지 패치를 사용하여 엄격한 정렬을 달성합니다.

전체 어텐션 레이어의 경우, HYPIC는 "이음새 창(seam windows)"을 사용하여 교차 세그먼트 어텐션을 고정합니다. 하이브리드 모델에서 여전히 일부 전체 어텐션 레이어가 PIC를 필요로 하지만, 기존 선택적 재계산은 직접 마이그레이션할 수 없습니다. 하위 선형 레이어는 최종 상태만 유지하므로 비종단 토큰이 전체 어텐션 레이어를 통과하여 상위로 전달할 수 없기 때문입니다. 토큰 단위 순환 상태 저장이나 처음부터 재계산은 저장 또는 계산 제약으로 인해 불가능합니다. 연구진은 KV 연결 후 편향이 각 재사용 세그먼트의 시작 부분에 집중되어 있고 나머지는 거의 영향을 받지 않는다는 것을 관찰했으며, 이는 전체 어텐션 모델의 어텐션 싱크 현상과 일치하며 하이브리드 어텐션 모델에서도 동일하게 적용됩니다. 이를 바탕으로 HYPIC는 각 내부 세그먼트 시작 부분에 $w$ 토큰의 이음새 창을 구성하며, 이 토큰들은 캐싱에서 제외됩니다. 재사용 시 완전한 접두사 하에서 이 토큰들을 재계산하여 교차 세그먼트 어텐션을 수리하며, 기본값은 $w=8$입니다. 실제 세그먼트 길이는 보통 512 토큰보다 길기 때문에 이음새 창은 매우 작은 부분을 차지하므로 재계산 비용이 관리 가능한 수준입니다. 초기 KV의 재계산을 지원하기 위해, 선형 어텐션 레이어는 재사용 중 이음새 창의 $T$와 $S$를 계산하여 실행 상태를 전진시키면서 각 이음새 토큰의 레이어별 출력을 상위 전체 어텐션 레이어로 전달합니다.

세 번째 구성 요소는 세그먼트 수준 병렬성으로, "긴 냉간 요청"을 가속화된 워크로드로 변환합니다. 지속적인 코퍼스 업데이트와 저빈도 문서 제거로 인해 캐시 미스는 불가피하며, 긴 냉간 요청은 꼬리 지연 시간의 주요 원인입니다. 기존 시스템은 전체 프롬프트를 단일 엔티티로 취급하여 단일 인스턴스에서 모든 냉간 세그먼트를 순차적으로 프리필하며, TTFT는 $O(n \cdot |C|)$로 증가합니다. 텐서 병렬성 및 기타 인스턴스 내 병렬성이 개별 순전달을 가속화할 수 있지만, 확장성은 제한적이며 TP-8에서 100k 토큰 요청에 17.7초가 소요됩니다. 그러나 PIC는 이미 각 세그먼트를 자체적으로 완결되게 만들었습니다. 즉, 프리필 결과는 내부 토큰에만 의존합니다. HYPIC는 인스턴스 간 세그먼트 수준 병렬성을 제안합니다. 라우터는 각 세그먼트가 캐시에 있는지 여부를 감지한 후, 냉간 세그먼트를 여러 스캐터 워커에 병렬로 분배하고, 컴바인 워커가 각 세그먼트의 결과를 하나의 완전한 실행 상태로 조립하여 냉간 프리필 시간을 $O(n \cdot |C|)$에서 $O(\lceil n/m \rceil \cdot |C| + c)$로 줄입니다. 이 경로를 완전히 활용하기 위해 HYPIC는 워커 간 부하를 균형 있게 맞추기 위해 최장 처리 시간(LPT) 그리디 전략을 사용하며, 각 세그먼트의 계산과 전송을 중첩하여 컴바인 워커가 동기식 전송 버스트에 의해 지연되지 않도록 합니다. 세그먼트 수준 병렬성과 인스턴스 내 병렬성(TP/DP/SP)은 직교 축에서 작동하며 원활하게 결합될 수 있습니다.

이 시스템은 SGLang에 구현되었으며, 약 14,000줄의 Python 및 Triton 코드로 구성됩니다. 네 가지 프로덕션급 하이브리드 어텐션 모델(Ring-mini/flash-linear-2.0, Qwen3.5-35B-A3B/122B-A10B), 네 가지 공개 데이터셋(HotpotQA, TriviaQA, MultiNews, GovReport), 그리고 하나의 프로덕션 RAG 트레이스를 사용하여 8개의 H20 노드에서 평가되었습니다. 전체 예열 후, Prefix Cache와 비교하여 HYPIC는 p50 TTFT를 평균 3.25배($2.77\times$에서 $4.05\times$) 줄였으며, 품질 손실은 거의 없었습니다. 16개 "모델 $\times$ 데이터셋" 단위는 전체 재계산보다 평균 1.71점 뒤졌으며, Qwen3.5-35B에서는 오히려 0.47점 앞섰습니다. 비교를 위해 전이 연산자를 캐시하지 않은 단순 덧셈은 점수의 66.9%를 손실하여 $T_C$의 필요성을 확인했습니다. 프로덕션 RAG 트레이스에서, 동일한 1초 TTFT SLO 하에서 HYPIC는 지속 가능한 QPS를 1.66배($1.49\times$에서 $1.85\times$) 증가시켰으며, 카드당 최대 처리량은 약 1.3배에서 1.5배 증가했습니다. 순수 냉간 미스 경로에서, 32k 토큰 요청의 TTFT는 단일 워커에서 2.83초에서 8개 워커에서 0.49초로 떨어지며 5.7배의 속도 향상을 달성했으며, 이득의 대부분은 확장 가능한 스캐터 단계에서 비롯되었습니다. 불균일한 샤딩에 대해 LPT는 TTFT를 1.26초에서 0.84초로 줄였습니다(3.6배 대 2.4배). 오버헤드도 관리 가능한 수준입니다: 가장 무거운 밀집 전이 모델에서 $(T_C, S(C|0))$을 구성하는 일회성 비용은 주요 순전달의 5.2%에서 6.7%에 불과하며, 이 비용은 여러 번 재사용하여 상각할 수 있습니다.

HYPIC는 하이브리드 어텐션 대형 모델에 위치 무관 캐싱을 최초로 도입합니다. 이는 캐시된 세그먼트별 누적 전이 연산자를 사용하여 선형 레이어에 상수 시간 상태 결합을 가능하게 하고, 작은 이음새 창을 통해 전체 어텐션 레이어의 교차 세그먼트 정렬을 고정하며, 세그먼트 수준 병렬성을 사용하여 긴 냉간 요청을 가속화된 워크로드로 변환합니다. 이를 통해 RAG 및 에이전트와 같은 장기 컨텍스트 서비스는 세그먼트 수준 캐시 재사용의 혜택을 누리면서 효율적인 하이브리드 아키텍처를 수용할 수 있습니다. 연구진은 향후 작업은 분산 PIC 관리 및 스케줄링, 그리고 다단계 캐시 계층 구조 관리를 탐색하는 데 초점을 맞출 것이며, 이를 통해 대형 모델 추론을 더 빠르고 비용 효율적이며 확장 가능한 솔루션으로 한층 발전시킬 것이라고 밝혔습니다.