小红书、北京大学、上海交通大学联合发布 HYPIC，可将混合注意力模型的首 Token 延迟降低 3.25 倍

大型模型服务的核心焦点正从单轮对话转向检索增强问答、多文档摘要以及长程智能体。这些新兴工作负载具有一个关键特征：单个请求的提示词通常由数十至数百个语义独立的片段组成，包括检索到的文档、技能描述、记忆文件以及之前的对话轮次，所有片段被组装成从数万到数十万词元不等的超长上下文。在此规模下，预填充阶段主导了每个请求的计算成本，成为服务提供商最显著的支出。更关键的是，缓存未命中可能导致首词延迟（TTFT）飙升至数秒，严重损害用户体验。

业界采用了两种降低成本策略。第一种是位置无关缓存（PIC），它放宽了严格的前缀约束，允许每个语义独立的片段仅被缓存一次，随后可拼接至任意前缀，完美契合 RAG 和智能体的提示词构成。其核心机制包括拼接，即沿词元轴直接连接，以及校正，即重新计算少量词元以恢复跨片段上下文。第二种方法是混合注意力模型，它用线性注意力替换大部分全注意力层，将二次复杂度降低为线性，并将无界历史压缩为固定大小的循环状态。最近的量产模型如 MiniMax-M1、Ring-2.5、Qwen3.5 和 Kimi-Linear 对其超过 75% 的层进行了线性化处理，仅保留少数全注意力层，形成了主流的混合设计。例如，Qwen3.5-35B-A3B 在总共 40 层中包含 30 个线性层。

核心矛盾在于此：现有的 PIC 基于逐词元键值（KV）缓存运行，而线性注意力层仅暴露逐请求的循环状态，缺乏用于拼接或校正的逐词元挂钩。因此，混合模型中的大多数层超出了现有 PIC 系统的能力范围。迄今为止，没有任何系统为混合注意力大型模型提供位置无关缓存。

HYPIC 由小红书大型模型推理团队与北京大学、上海交通大学合作开发，是首个在混合注意力大型模型上实现 PIC 的服务系统。在四个量产级混合注意力模型和五个工作负载上的测试表明，HYPIC 将首词延迟平均降低了 3.25 倍，并在相同 SLO 下将可持续 QPS 提高了 1.66 倍，任务质量与完全重新计算相比仅相差 1.71 分。该系统的核心思想是在混合模型中分别处理线性层和全注意力层，通过三个相互关联的机制利用层级并行性加速冷请求。

对于线性层，HYPIC 缓存“转移算子”，实现常数时间的状态组合。最直接的 PIC 稻草人解决方案是直接相加两个具有零初始值的片段的最终状态——这在朴素线性注意力中有效，但在具有衰减、门控或 Delta 擦除的高级线性注意力（如 RetNet、Mamba2、GLA、DeltaNet、GDN、KDA）中失败。缺失的关键量是片段的累积转移算子 T_C，即其中所有词元转移矩阵的乘积。实际最终状态应为 S(C1·C2) = T(C2) · S(C1) + S(C2)，而简单加法省略了 T(C2) 项，导致结构误差。测试显示，RetNet 中的慢衰减头在 256 个词元处表现出占状态范数 22% 的误差。HYPIC 的关键见解是，T_C 和零初始状态最终状态 S(C|0) 仅由片段内部词元决定，与前缀无关。因此，在片段的首次预填充期间，HYPIC 缓存对 (T_C, S(C|0))，并在重用时应用 T_C 的左乘及加法，几乎精确地重建任意前缀下的最终状态，自然覆盖整个线性注意力家族。在 Qwen3.5-35B-A3B 上的测试显示，组合状态与完全重新计算的差异仅为 6×10⁻⁵，在 FP16 噪声范围内。对于具有因果卷积或 RoPE 的变体，HYPIC 使用两个补丁——卷积状态预热和状态重旋转——以实现严格对齐。

对于全注意力层，HYPIC 使用“接缝窗口”来修复跨片段注意力。尽管混合模型中仍有少量全注意力层需要 PIC，但之前的选择性重新计算无法直接迁移，因为下游线性层仅保留最终状态，使得非终端词元无法通过全注意力层向上传递。由于存储或计算限制，按词元存储循环状态或从头重新计算均不可行。团队观察到，KV 拼接后的偏差在每个重用片段的开头高度集中，其余部分几乎不受影响，这与全注意力模型中的注意力汇现象一致，在混合注意力模型中也成立。基于此，HYPIC 在每个内部片段的开头构建一个包含 w 个词元的接缝窗口，将这些词元排除在缓存之外。重用时，它们在完整前缀下重新计算以修复跨片段注意力，默认 w=8；由于实际片段长度通常大于 512 个词元，接缝窗口占比非常小，使得重新计算成本可控。为了支持初始 KV 的重新计算，线性注意力层在重用时计算接缝窗口的 T 和 S，推进运行状态，同时将每个接缝词元的逐层输出转发至上层全注意力层。

第三个组件是片段级并行性，将“长冷请求”转化为加速工作负载。由于持续的语料库更新和低频率文档移除，缓存未命中是不可避免的，长冷请求是尾部延迟的主要原因。现有系统将整个提示词视为单一实体，在单个实例上串行预填充所有冷片段，TTFT 随 O(n·|C|) 增长；虽然张量并行和其他实例内并行性可以加速单个前向传播，但其可扩展性有限，TP-8 上的 100k 词元请求仍需 17.7 秒。然而，PIC 已使每个片段自包含——其预填充结果仅取决于其内部词元。HYPIC 提出实例间片段级并行性：路由器检测每个片段是否命中缓存，然后将冷片段并行分发到多个散射工作器，合并工作器将每个片段的結果组装为完整的运行状态，将冷预填充时间从 O(n·|C|) 降低至 O(⌈n/m⌉·|C|+c)。为了充分利用此路径，HYPIC 使用贪婪 LPT（最长处理时间）策略平衡工作器间的负载，并重叠每个片段的计算和传输，以避免合并工作器被同步传输突发所拖累；片段级并行性与实例内并行性（TP/DP/SP）在正交轴上运行，可以无缝结合。

该系统已在 SGLang 上实现，包含约 14,000 行 Python 和 Triton 代码。它在八个 H20 节点上使用四个量产级混合注意力模型（Ring-mini/flash-linear-2.0、Qwen3.5-35B-A3B/122B-A10B）、四个公共数据集（HotpotQA、TriviaQA、MultiNews、GovReport）和一个生产 RAG 追踪进行了评估。完全预热后，与 Prefix Cache 相比，HYPIC 将 p50 TTFT 平均降低了 3.25 倍（从 2.77× 到 4.05×），几乎没有质量损失——16 个“模型 × 数据集”单元平均仅落后于完全重新计算 1.71 分，甚至在 Qwen3.5-35B 上超出其 0.47 分。作为对比，不使用缓存转移算子的朴素加法损失了 66.9% 的分数，证实了 T_C 的必要性。在生产 RAG 追踪中，在相同的 1 秒 TTFT SLO 下，HYPIC 将可持续 QPS 提高了 1.66 倍（从 1.49× 到 1.85×），每张卡的峰值吞吐量提高了约 1.3 至 1.5 倍。在纯冷未命中路径上，32k 词元请求的 TTFT 从单个工作器的 2.83 秒降低到八个工作器的 0.49 秒，实现了 5.7× 的加速，几乎所有增益都来自可扩展的散射阶段。针对不均匀分片，LPT 将 TTFT 从 1.26 秒降低到 0.84 秒（3.6× 对比 2.4×）。开销也是可控的：构建 (T_C, S(C|0)) 的一次性成本在最重的密集转移模型中仅占主前向传播的 5.2% 至 6.7%，且该成本可通过多次重用进行摊销。

HYPIC 首次将位置无关缓存引入混合注意力大型模型：它使用缓存的逐片段累积转移算子实现线性层的常数时间状态组合，利用小接缝窗口修复全注意力层的跨片段对齐，并使用片段级并行性将长冷请求转化为加速工作负载。这使得 RAG 和智能体等长上下文服务能够在拥抱高效混合架构的同时，享受片段级缓存重用的好处。团队表示，未来的工作将专注于探索分布式 PIC 管理和调度，以及多级缓存层次结构管理，进一步推动大型模型推理朝着更快、更具成本效益和更具可扩展性的解决方案发展。