A Liquid AI e a Hugging Face lançaram os pontos de verificação do modelo em versão preliminar DSpark para os três modelos da série LFM2.5, que contam com um caminho de decodificação especulativa capaz de aumentar a taxa de processamento em até 3,18 vezes em GPUs e 2,87 vezes em dispositivos edge, sem afetar a qualidade da saída. Esse método reduz o atraso nas chamadas de função do LFM2.5-2.6B em 57% em cenários de agentes edge, alcançando 139 tokens por segundo no M4Max MacBook Pro, o que diminui as barreiras para implantação local e oferece desempenho superior a alguns modelos em nuvem proprietários. A tecnologia supera as limitações de largura de banda da memória nos processamentos tradicionais ao utilizar um modelo preliminar leve para gerar tokens candidatos, que são validados de forma uniforme. Ele é composto por uma rede principal paralela, uma camada de cabeçalho sequencial e um validador de agendamento de confiança. O modelo preliminar inicial adota uma arquitetura de 5 camadas e 9 blocos baseada apenas em atenção, com cerca de 300 milhões de parâmetros. A precisão da saída permanece idêntica à do método de decodificação greedy padrão. O DSpark é compatível com SGLang e llama.cpp desde o lançamento.
Ao clicar em "Aceitar todos os cookies", você concorda com o armazenamento de cookies em seu dispositivo para melhorar a navegação no site, analisar o uso do site e auxiliar em nossos esforços de marketing.Política de Privacidade Aviso
Ao visitar qualquer site, ele pode armazenar ou recuperar informações em seu navegador, principalmente na forma de cookies. Essas informações podem ser sobre você, suas preferências ou seu dispositivo e são usadas principalmente para fazer com que o site funcione conforme esperado. As informações geralmente não identificam você diretamente, mas podem proporcionar uma experiência web mais personalizada. Como respeitamos seu direito à privacidade, você pode optar por não permitir alguns tipos de cookies. Clique nos diferentes títulos de categoria para saber mais e alterar nossas configurações padrão. No entanto, bloquear alguns tipos de cookies pode afetar sua experiência no site e os serviços que podemos oferecer. Política de PrivacidadeDeclaração
Gerenciar preferências
Cookie estritamente necessário
Sempre ativado
Esses cookies são necessários para o funcionamento do site e não podem ser desativados em nossos sistemas. Eles geralmente são definidos apenas em resposta a ações que você realiza, que equivalem a uma solicitação de serviços, como configurar suas preferências de privacidade, fazer login ou preencher formulários. Você pode configurar seu navegador para bloquear esses cookies ou alertá-lo sobre eles, mas algumas partes do site não funcionarão depois. Esses cookies não armazenam nenhuma informação que permita identificar pessoalmente.