Lar
A Moonshot AI e a Universidade de Tsinghua apresentam a arquitetura PrfaaS para superar o gargalo de poder de computação dos modelos de grande porte
Novas tecnologias estão superando o gargalo de desempenho dos grandes modelos de linguagem (LLMs). Recentemente, pesquisadores da Moonshot AI (Moonshot) e da Universidade de Tsinghua apresentaram uma nova arquitetura chamada Prefill-as-a-Service (PrfaaS). Este estudo aborda as restrições de hardware nas implantações de serviços de modelos de grande porte em data centers, otimizando a alocação de recursos computacionais e, assim, aumentando significativamente a eficiência da inferência.
Avanço técnico: uma separação “cirúrgica” entre pré-preenchimento e decodificação
Atualmente, o processo de inferência para grandes modelos de linguagem compreende duas fases distintas:
Fase de pré-preenchimento: essa fase é intensiva em computação, lidando com o processamento de entrada e gerando cache de chave-valor (KVCache).
Fase de decodificação: essa fase consome muita largura de banda de memória, gerando a saída palavra por palavra.
Em arquiteturas tradicionais, ambas as fases são normalmente tratadas dentro do mesmo data center ou até mesmo do mesmo servidor. Como elas têm necessidades diferentes de recursos de hardware, esse “agrupamento forçado” frequentemente cria um desequilíbrio na alocação de computação e largura de banda, levando ao congestionamento do serviço.
Inovação central: colaboração eficiente entre regiões
O principal destaquedo PrfaaS é a obtenção de um serviço desacoplado. Ele transfere as tarefas de pré-preenchimento, que exigem grande capacidade de computação, para clusters especializados de alta computação. Após a conclusão da tarefa, o sistema usa Ethernet padrão para transferir o KVCache gerado remotamente para um cluster de decodificação local.
Esse design elimina as restrições de espaço físico, permitindo que o pré-preenchimento e a decodificação sejam executados simultaneamente em diferentes data centers. Para garantir uma transferência eficiente, o PrfaaS incorpora um mecanismo de agendamento em duas escalas de tempo que aloca recursos de forma flexível com base nas flutuações de tráfego em tempo real, combinado com um roteamento preciso para evitar que solicitações de texto longo sejam atrasadas por uma distribuição desigual de recursos.
Resultados dos testes: otimização de throughput e latência
Dados de pesquisa demonstram que a arquitetura do PrfaaS oferece desempenho notável em aplicações do mundo real:
A taxa de transferência do serviço aumentou em 54%, melhorando significativamente o número de solicitações processadas por unidade de tempo.
A latência de resposta diminuiu significativamente, tornando a geração do primeiro token mais rápida do ponto de vista do usuário.
A utilização de recursos foi maximizada pela separação dos subsistemas de computação, rede e armazenamento, evitando problemas de congestionamento observados em arquiteturas tradicionais.
A colaboração entre a Moonshot AI e a Universidade de Tsinghua não apenas oferece novas abordagens de engenharia para inferência de IA em grande escala, mas também estabelece as bases para futuras redes de computação inter-regionais. Esse modelo de Prefill-as-a-Service pode se tornar um marco importante na transição de grandes modelos para a implantação industrial.
Artigo relacionado
Ações dos EUA Atingem Marco Histórico Enquanto Gigantes de IA e Aeroespacial se Preparam para Estreia de Trilião de Dólares
Elon Musk, Sam Altman e Dario Amodei, três titãs do setor de tecnologia, estão avançando rumo a ofertas públicas iniciais (IPOs) para suas respectivas empresas. Com a SpaceX, a OpenAI e a Anthropic — três gigantes da indústria que se aproximam de ava
Startup sueca de IA Lovable Eyes tem avaliação de US$ 13,2 bilhões após rodada principal de investimentos
À medida que as ferramentas de codificação impulsionadas por IA ganham tração, a startup sueca Lovable garantiu uma grande rodada de financiamento. A empresa visa captar US$ 3 bilhões, o que poderia elevar sua avaliação para US$ 13,2 bilhões — o dobr
O Google testa o Agente Remy AI para o Gemini, à medida que o foco se desloca para o controle do usuário
De acordo com o Business Insider, o Google está testando o Remy, um novo agente pessoal de IA para o Gemini. Esta ferramenta tem como objetivo executar tarefas em nome dos usuários, simplificando tanto os fluxos de trabalho profissionais quanto as ro
Recomendações de tópicos especiais relacionados
Análise de dados
Melhores ferramentas de detecção de anomalias com IA para monitoramento de KPIs entre equipes de SaaS e comércio eletrônico
2026 Últimas Melhores Ferramentas de Detecção de Anomalias por IA Mais Bem Avaliadas para Monitoramento de KPIs em Equipes de SaaS e E-commerce! A XIX.AI compilou uma coleção poderosa e transformadora, baseada em testes rigorosos do mundo real e classificações atualizadas semanalmente. Você encontrará insights detalhados sobre comparações entre versões gratuitas e pagas para ajudá-lo a identificar a solução que deve ser testada, aumentando a produtividade e desbloqueando sua vantagem com IA. Explore agora!
10 ferramentas
xix.ai
escrita
Os melhores geradores de esboços com IA para artigos longos de SEO
Os melhores e mais bem avaliados geradores de esboços com IA de 2026 para artigos longos de SEO, cuidadosamente selecionados pela XIX.AI. Essas ferramentas poderosas oferecem um auxílio revolucionário na criação rápida de conteúdo de alta qualidade, aumentando significativamente a eficiência na redação. Confira uma comparação entre versões gratuitas e pagas, além de testes práticos e classificações detalhadas, para ajudá-lo a encontrar a opção imperdível que melhor atenda às suas necessidades. Explore agora para aproveitar ao máximo as vantagens da IA.
8 ferramentas
xix.ai
Educação e Aprendizagem
Ferramentas de IA para os deveres de casa e a preparação para provas
As melhores e mais recentes ferramentas de IA para lição de casa e preparação para provas em 2026! A XIX.AI seleciona uma lista das ferramentas mais bem avaliadas, poderosas e revolucionárias que ajudam os alunos a aumentar a produtividade, agilizar a realização das lições de casa e se sair muito bem nas provas por meio de testes práticos. Veja uma comparação entre versões gratuitas e pagas, classificações detalhadas e opções imperdíveis para aproveitar ao máximo as vantagens da IA. Explore agora!
10 ferramentas
xix.ai
Composição musical
Ferramentas de Demonstração Vocal com IA para Compositores, Ganchos, Toplines e Sessões de Rascunho Multilíngues
2026 Últimas Melhores Ferramentas de Demonstração Vocal com IA para Compositores, Criadores de Ganchos e Equipes de Conteúdo Multilíngue! A XIX.AI compilou uma lista de ferramentas altamente avaliadas e poderosas, que mudam o jogo e passaram por rigorosos testes no mundo real. Você encontrará dados detalhados de comparação entre versões gratuitas e pagas, classificações abrangentes e opções imperdíveis para ajudá-lo a aumentar a eficiência da escrita e desbloquear seu potencial criativo. Explore agora para descobrir a ferramenta perfeita para todas as suas necessidades de conteúdo!
9 ferramentas
xix.ai
Negócios
As melhores ferramentas de pesquisa competitiva baseadas em IA para pequenas empresas
As melhores e mais bem avaliadas ferramentas de pesquisa competitiva com IA de 2026 para pequenas empresas! A XIX.AI selecionou uma coleção extremamente poderosa e revolucionária, atualizada semanalmente com testes rigorosos no mundo real e classificações detalhadas. Você encontrará uma comparação abrangente entre versões gratuitas e pagas para ajudá-lo a identificar as ferramentas imperdíveis que aumentam sua produtividade e lhe proporcionam uma vantagem competitiva. Explore agora para descobrir a ferramenta perfeita para você!
9 ferramentas
xix.ai
Edição de imagem
Ferramentas de Retoque com IA do Photoshop para Moda E-commerce, Limpeza de Pele e Consistência de Cor
2026 Últimas Melhores Ferramentas de Retoque com IA do Photoshop para roupas de comércio eletrônico, limpeza de pele e consistência de cores! Esta lista curada de alta classificação apresenta soluções poderosas que mudam o jogo, ajudando você a aumentar a eficiência da escrita, simplificar a criação de conteúdo e obter resultados visuais perfeitos sem esforço. Cada ferramenta passou por testes do mundo real através de classificações atualizadas semanalmente, com detalhes completos sobre comparação entre gratuito e pago. Com o apoio da XIX.AI, é o guia essencial para quem deseja desbloquear sua vantagem com IA. Explore agora!
10 ferramentas
xix.ai
Comentários (1)
![HarryRoberts]()
Wait, so PrfaaS separates prefill from decode? That sounds like a smart way to reduce latency, but how does it handle memory overhead? 🤔
Novas tecnologias estão superando o gargalo de desempenho dos grandes modelos de linguagem (LLMs). Recentemente, pesquisadores da Moonshot AI (Moonshot) e da Universidade de Tsinghua apresentaram uma nova arquitetura chamada Prefill-as-a-Service (PrfaaS). Este estudo aborda as restrições de hardware nas implantações de serviços de modelos de grande porte em data centers, otimizando a alocação de recursos computacionais e, assim, aumentando significativamente a eficiência da inferência.
Avanço técnico: uma separação “cirúrgica” entre pré-preenchimento e decodificação
Atualmente, o processo de inferência para grandes modelos de linguagem compreende duas fases distintas:
Fase de pré-preenchimento: essa fase é intensiva em computação, lidando com o processamento de entrada e gerando cache de chave-valor (KVCache).
Fase de decodificação: essa fase consome muita largura de banda de memória, gerando a saída palavra por palavra.
Em arquiteturas tradicionais, ambas as fases são normalmente tratadas dentro do mesmo data center ou até mesmo do mesmo servidor. Como elas têm necessidades diferentes de recursos de hardware, esse “agrupamento forçado” frequentemente cria um desequilíbrio na alocação de computação e largura de banda, levando ao congestionamento do serviço.
Inovação central: colaboração eficiente entre regiões
O principal destaque
Esse design elimina as restrições de espaço físico, permitindo que o pré-preenchimento e a decodificação sejam executados simultaneamente em diferentes data centers. Para garantir uma transferência eficiente, o PrfaaS incorpora um mecanismo de agendamento em duas escalas de tempo que aloca recursos de forma flexível com base nas flutuações de tráfego em tempo real, combinado com um roteamento preciso para evitar que solicitações de texto longo sejam atrasadas por uma distribuição desigual de recursos.
Resultados dos testes: otimização de throughput e latência
Dados de pesquisa demonstram que a arquitetura do PrfaaS oferece desempenho notável em aplicações do mundo real:
A taxa de transferência do serviço aumentou em 54%, melhorando significativamente o número de solicitações processadas por unidade de tempo.
A latência de resposta diminuiu significativamente, tornando a geração do primeiro token mais rápida do ponto de vista do usuário.
A utilização de recursos foi maximizada pela separação dos subsistemas de computação, rede e armazenamento, evitando problemas de congestionamento observados em arquiteturas tradicionais.
A colaboração entre a Moonshot AI e a Universidade de Tsinghua não apenas oferece novas abordagens de engenharia para inferência de IA em grande escala, mas também estabelece as bases para futuras redes de computação inter-regionais. Esse modelo de Prefill-as-a-Service pode se tornar um marco importante na transição de grandes modelos para a implantação industrial.
Ações dos EUA Atingem Marco Histórico Enquanto Gigantes de IA e Aeroespacial se Preparam para Estreia de Trilião de Dólares
Elon Musk, Sam Altman e Dario Amodei, três titãs do setor de tecnologia, estão avançando rumo a ofertas públicas iniciais (IPOs) para suas respectivas empresas. Com a SpaceX, a OpenAI e a Anthropic — três gigantes da indústria que se aproximam de ava
Startup sueca de IA Lovable Eyes tem avaliação de US$ 13,2 bilhões após rodada principal de investimentos
À medida que as ferramentas de codificação impulsionadas por IA ganham tração, a startup sueca Lovable garantiu uma grande rodada de financiamento. A empresa visa captar US$ 3 bilhões, o que poderia elevar sua avaliação para US$ 13,2 bilhões — o dobr
O Google testa o Agente Remy AI para o Gemini, à medida que o foco se desloca para o controle do usuário
De acordo com o Business Insider, o Google está testando o Remy, um novo agente pessoal de IA para o Gemini. Esta ferramenta tem como objetivo executar tarefas em nome dos usuários, simplificando tanto os fluxos de trabalho profissionais quanto as ro
2026 Últimas Melhores Ferramentas de Detecção de Anomalias por IA Mais Bem Avaliadas para Monitoramento de KPIs em Equipes de SaaS e E-commerce! A XIX.AI compilou uma coleção poderosa e transformadora, baseada em testes rigorosos do mundo real e classificações atualizadas semanalmente. Você encontrará insights detalhados sobre comparações entre versões gratuitas e pagas para ajudá-lo a identificar a solução que deve ser testada, aumentando a produtividade e desbloqueando sua vantagem com IA. Explore agora!
10 ferramentas
xix.ai
Os melhores e mais bem avaliados geradores de esboços com IA de 2026 para artigos longos de SEO, cuidadosamente selecionados pela XIX.AI. Essas ferramentas poderosas oferecem um auxílio revolucionário na criação rápida de conteúdo de alta qualidade, aumentando significativamente a eficiência na redação. Confira uma comparação entre versões gratuitas e pagas, além de testes práticos e classificações detalhadas, para ajudá-lo a encontrar a opção imperdível que melhor atenda às suas necessidades. Explore agora para aproveitar ao máximo as vantagens da IA.
8 ferramentas
xix.ai
As melhores e mais recentes ferramentas de IA para lição de casa e preparação para provas em 2026! A XIX.AI seleciona uma lista das ferramentas mais bem avaliadas, poderosas e revolucionárias que ajudam os alunos a aumentar a produtividade, agilizar a realização das lições de casa e se sair muito bem nas provas por meio de testes práticos. Veja uma comparação entre versões gratuitas e pagas, classificações detalhadas e opções imperdíveis para aproveitar ao máximo as vantagens da IA. Explore agora!
10 ferramentas
xix.ai
2026 Últimas Melhores Ferramentas de Demonstração Vocal com IA para Compositores, Criadores de Ganchos e Equipes de Conteúdo Multilíngue! A XIX.AI compilou uma lista de ferramentas altamente avaliadas e poderosas, que mudam o jogo e passaram por rigorosos testes no mundo real. Você encontrará dados detalhados de comparação entre versões gratuitas e pagas, classificações abrangentes e opções imperdíveis para ajudá-lo a aumentar a eficiência da escrita e desbloquear seu potencial criativo. Explore agora para descobrir a ferramenta perfeita para todas as suas necessidades de conteúdo!
9 ferramentas
xix.ai
As melhores e mais bem avaliadas ferramentas de pesquisa competitiva com IA de 2026 para pequenas empresas! A XIX.AI selecionou uma coleção extremamente poderosa e revolucionária, atualizada semanalmente com testes rigorosos no mundo real e classificações detalhadas. Você encontrará uma comparação abrangente entre versões gratuitas e pagas para ajudá-lo a identificar as ferramentas imperdíveis que aumentam sua produtividade e lhe proporcionam uma vantagem competitiva. Explore agora para descobrir a ferramenta perfeita para você!
9 ferramentas
xix.ai
2026 Últimas Melhores Ferramentas de Retoque com IA do Photoshop para roupas de comércio eletrônico, limpeza de pele e consistência de cores! Esta lista curada de alta classificação apresenta soluções poderosas que mudam o jogo, ajudando você a aumentar a eficiência da escrita, simplificar a criação de conteúdo e obter resultados visuais perfeitos sem esforço. Cada ferramenta passou por testes do mundo real através de classificações atualizadas semanalmente, com detalhes completos sobre comparação entre gratuito e pago. Com o apoio da XIX.AI, é o guia essencial para quem deseja desbloquear sua vantagem com IA. Explore agora!
10 ferramentas
xix.ai
Wait, so PrfaaS separates prefill from decode? That sounds like a smart way to reduce latency, but how does it handle memory overhead? 🤔
