Xiaohongshu, Universidade de Pequim e Universidade Jiao Tong de Xangai revelam o HYPIC para reduzir a latência do primeiro token em 3,25x em modelos de atenção híbrida

O foco principal dos serviços de grandes modelos está mudando de conversas de turno único para perguntas e respostas com recuperação aumentada (RAG), resumo de múltiplos documentos e agentes de longo alcance. Essas cargas de trabalho emergentes compartilham uma característica chave: o prompt de uma única solicitação frequentemente consiste em dezenas a centenas de segmentos semanticamente independentes, incluindo documentos recuperados, descrições de habilidades, arquivos de memória e rodadas de conversa anteriores, todos montados em contextos ultra-longos que variam de dezenas de milhares a centenas de milhares de tokens. Nessa escala, a fase de pré-preenchimento (prefill) domina o custo computacional por solicitação, tornando-se a despesa mais visível para os provedores de serviço. Mais criticamente, os erros de cache podem fazer com que o atraso do primeiro token (TTFT) aumente para vários segundos, degradando severamente a experiência do usuário.

A indústria adotou duas estratégias de redução de custos. A primeira é o cache agnóstico à posição (PIC), que relaxa as restrições estritas de prefixo, permitindo que cada segmento semanticamente independente seja armazenado em cache uma vez e, em seguida, concatenado a qualquer prefixo, alinhando-se perfeitamente com a composição de prompts do RAG e de agentes. Seus mecanismos centrais são a concatenação (splice), que concatena diretamente ao longo do eixo do token, e a correção, que recalcula alguns tokens para restaurar o contexto entre segmentos. A segunda abordagem é o modelo de atenção híbrida, que substitui a maioria das camadas de atenção completa por atenção linear, reduzindo a complexidade quadrática para linear e comprimindo um histórico ilimitado em um estado cíclico de tamanho fixo. Modelos de produção recentes, como MiniMax-M1, Ring-2.5, Qwen3.5 e Kimi-Linear, linearizam mais de 75% de suas camadas, retendo apenas algumas camadas de atenção completa, formando o design híbrido predominante. Por exemplo, o Qwen3.5-35B-A3B possui 30 camadas lineares de um total de 40.

A contradição central reside aqui: o PIC existente opera em caches de chave-valor (KV) por token, enquanto as camadas de atenção linear expõem apenas um estado cíclico por solicitação, sem ganchos por token para concatenação ou correção. Consequentemente, a maioria das camadas em modelos híbridos fica fora das capacidades dos sistemas PIC existentes. Até agora, nenhum sistema forneceu cache agnóstico à posição para grandes modelos de atenção híbrida.

Desenvolvido pela equipe de inferência de grandes modelos da Xiaohongshu em colaboração com a Universidade de Pequim e a Universidade de Xangai Jiao Tong, o HYPIC é o primeiro sistema de serviço a implementar o PIC em grandes modelos de atenção híbrida. Testes em quatro modelos de atenção híbrida de nível de produção e cinco cargas de trabalho mostram que o HYPIC reduz o atraso do primeiro token em uma média de 3,25 vezes e aumenta o QPS sustentável em 1,66 vezes sob o mesmo SLO, com a qualidade da tarefa diferindo apenas em 1,71 pontos da recomputação completa. A ideia central do sistema é lidar com as camadas lineares e de atenção completa separadamente dentro do modelo híbrido, acelerando as solicitações frias por meio de paralelismo em nível de camada através de três mecanismos interligados.

Para as camadas lineares, o HYPIC armazena em cache "operadores de transição", permitindo a combinação de estados em tempo constante. A solução mais direta para o PIC seria adicionar diretamente os estados finais de dois segmentos com valores iniciais zero — válido na atenção linear ingênua, mas falho na atenção linear avançada com decaimento, portão ou eliminação delta (por exemplo, RetNet, Mamba2, GLA, DeltaNet, GDN, KDA). A quantidade crítica ausente é o operador de transição acumulado $T_C$ de um segmento, ou seja, o produto de todas as matrizes de transição de tokens dentro dele. O estado final real deve ser $S(C1 \cdot C2) = T(C2) \cdot S(C1) + S(C2)$, enquanto a adição simples omite o termo $T(C2)$, causando erro estrutural. Os testes mostraram que a cabeça de decaimento lenta no RetNet apresentou um erro de 22% da norma do estado em 256 tokens. A ideia chave do HYPIC é que o $T_C$ e o estado final de estado inicial zero $S(C|0)$ são determinados exclusivamente pelos tokens internos de um segmento, independentes do prefixo. Assim, durante o primeiro pré-preenchimento de um segmento, o HYPIC armazena em cache o par $(T_C, S(C|0))$ e, ao reutilizar, aplica a multiplicação à esquerda por $T_C$ seguida de adição para reconstruir quase exatamente o estado final sob qualquer prefixo, cobrindo naturalmente toda a família de atenção linear. Testes no Qwen3.5-35B-A3B mostraram que os estados combinados diferiram da recomputação completa em apenas $6 \times 10^{-5}$, dentro do ruído FP16. Para variantes com convolução causal ou RoPE, o HYPIC usa dois patches — aquecimento do estado de convolução e re-rotação do estado — para alcançar alinhamento estrito.

Para as camadas de atenção completa, o HYPIC usa "janelas de costura" para corrigir a atenção entre segmentos. Embora algumas camadas de atenção completa ainda exijam PIC em modelos híbridos, a recomputação seletiva anterior não pode ser migrada diretamente porque as camadas lineares subsequentes retêm apenas o estado final, tornando impossível para os tokens não terminais passarem para cima através da camada de atenção completa. Armazenar o estado cíclico por token ou recomputar do zero é inviável devido a restrições de armazenamento ou computação. A equipe observou que o viés após a concatenação KV é altamente concentrado no início de cada segmento reutilizado, com o resto quase inalterado, consistente com o fenômeno do poço de atenção em modelos de atenção completa, o que também se mantém em modelos de atenção híbrida. Com base nisso, o HYPIC constrói uma janela de costura de $w$ tokens no início de cada segmento interno, excluindo esses tokens do cache. Ao reutilizar, eles são recomputados sob o prefixo completo para reparar a atenção entre segmentos, com $w=8$ por padrão; como o comprimento real do segmento geralmente é maior que 512 tokens, a janela de costura constitui uma parte muito pequena, tornando o custo da recomputação gerenciável. Para suportar a recomputação do KV inicial, as camadas de atenção linear calculam o $T$ e o $S$ da janela de costura durante a reutilização, avançando o estado em execução enquanto encaminham as saídas por camada de cada token da costura para a camada superior de atenção completa.

O terceiro componente é o paralelismo em nível de segmento, transformando "longas solicitações frias" em cargas de trabalho aceleradas. Erros de cache são inevitáveis devido a atualizações contínuas do corpus e remoções de documentos de baixa frequência, sendo as longas solicitações frias a principal causa de latência na cauda. Sistemas existentes tratam o prompt inteiro como uma única entidade, pré-preenchendo serialmente todos os segmentos frios em uma única instância, com o TTFT crescendo como $O(n \cdot |C|)$; embora o paralelismo de tensor e outros paralelismos intra-instância possam acelerar passes individuais para frente, sua escalabilidade é limitada, com uma solicitação de 100k tokens no TP-8 ainda levando 17,7 segundos. No entanto, o PIC já tornou cada segmento autocontido — seus resultados de pré-preenchimento dependem apenas de seus tokens internos. O HYPIC propõe paralelismo em nível de segmento entre instâncias: o Router detecta se cada segmento acerta o cache e, em seguida, distribui segmentos frios em paralelo para vários trabalhadores dispersos (scatter workers), e um trabalhador de combinação (combine worker) monta os resultados de cada segmento em um estado em execução completo, reduzindo o tempo de pré-preenchimento frio de $O(n \cdot |C|)$ para $O(\lceil n/m \rceil \cdot |C| + c)$. Para utilizar totalmente este caminho, o HYPIC usa uma estratégia gulosa LPT (Longest Processing Time) para equilibrar a carga de trabalho entre os trabalhadores e sobrepõe a computação e a transmissão de cada segmento para evitar que o trabalhador de combinação seja retido por rajadas de transmissão síncrona; o paralelismo em nível de segmento e o paralelismo intra-instância (TP/DP/SP) operam em eixos ortogonais e podem ser combinados sem problemas.

Este sistema foi implementado no SGLang, com aproximadamente 14.000 linhas de código Python e Triton. Foi avaliado em oito nós H20 usando quatro modelos de atenção híbrida de nível de produção (Ring-mini/flash-linear-2.0, Qwen3.5-35B-A3B/122B-A10B), quatro conjuntos de dados públicos (HotpotQA, TriviaQA, MultiNews, GovReport) e um rastro de RAG de produção. Após o aquecimento completo, em comparação com o Prefix Cache, o HYPIC reduz o TTFT p50 em uma média de 3,25 vezes (de 2,77× para 4,05×), com perda de qualidade quase nula — 16 unidades "modelo × conjunto de dados" ficaram em média apenas 1,71 pontos atrás da recomputação completa, e até superaram a recomputação em 0,47 pontos no Qwen3.5-35B. Como comparação, uma adição ingênua sem armazenar em cache os operadores de transição perdeu 66,9% da pontuação, confirmando a necessidade do $T_C$. No rastro de RAG de produção, sob o mesmo SLO de TTFT de 1 segundo, o HYPIC aumentou o QPS sustentável em 1,66 vezes (de 1,49× para 1,85×), e a taxa de transferência de pico por placa aumentou em cerca de 1,3 a 1,5 vezes. No caminho puro de erro de cache frio, o TTFT de uma solicitação de 32k tokens caiu de 2,83 segundos em um único trabalhador para 0,49 segundos em oito trabalhadores, alcançando uma aceleração de 5,7×, com quase todos os ganhos provenientes da etapa dispersa escalável. Contra o particionamento desigual, o LPT reduziu o TTFT de 1,26 segundos para 0,84 segundos (3,6× vs. 2,4×). A sobrecarga também é gerenciável: o custo único de construir $(T_C, S(C|0))$ é apenas de 5,2% a 6,7% do passo principal para frente no modelo denso de transferência mais pesado, e esse custo pode ser amortizado ao reutilizá-lo várias vezes.

O HYPIC traz o cache agnóstico à posição para grandes modelos de atenção híbrida pela primeira vez: ele permite a combinação de estados em tempo constante para camadas lineares usando operadores de transição acumulados por segmento armazenados em cache, corrige o alinhamento entre segmentos para camadas de atenção completa com pequenas janelas de costura e transforma longas solicitações frias em cargas de trabalho aceleradas usando paralelismo em nível de segmento. Isso permite que serviços de contexto longo, como RAG e agentes, aproveitem os benefícios da reutilização de cache em nível de segmento enquanto abraçam arquiteturas híbridas eficientes. A equipe afirmou que o trabalho futuro se concentrará na exploração do gerenciamento e agendamento distribuído de PIC e no gerenciamento de hierarquia de cache de múltiplos níveis, avançando ainda mais a inferência de grandes modelos em direção a soluções mais rápidas, mais econômicas e mais escaláveis.