Liquid AI y Hugging Face han publicado los puntos de control del modelo preliminar DSpark para los tres modelos de la serie LFM2.5, los cuales cuentan con una ruta de decodificación especulativa que aumenta el rendimiento de inferencia hasta 3,18 veces en GPUs y 2,87 veces en dispositivos periféricos, sin afectar la calidad del resultado. Esta tecnología reduce en un 57% la latencia de las llamadas a funciones en el modelo LFM2.5-2.6B en escenarios de agentes periféricos, logrando un procesamiento de 139 tokens por segundo en un MacBook Pro M4Max, lo que disminuye las barreras para su implementación local y ofrece un rendimiento superior al de algunos modelos en la nube propietarios. Para superar las limitaciones de ancho de banda de memoria en los métodos tradicionales de inferencia, esta tecnología emplea un modelo preliminar ligero para generar tokens candidatos, los cuales son validados de forma uniforme. DSpark está compuesto por una red principal paralela, una capa de procesamiento secuencial y un validador de programación de confianza. El modelo preliminar inicial utiliza una arquitectura de 5 capas y 9 bloques basada únicamente en mecanismos de atención, con aproximadamente 300 millones de parámetros. La precisión del resultado sigue siendo idéntica a la obtenida con el método de decodificación tradicional. Desde su lanzamiento, DSpark es compatible con SGLang y llama.cpp.
Al hacer clic en "Aceptar todos los cookies", usted acepta el almacenamiento de cookies en su dispositivo para mejorar la navegación por el sitio, analizar el uso del sitio y ayudar en nuestros esfuerzos de marketing.Política de privacidad Aviso
Al visitar cualquier sitio web, este puede almacenar o recuperar información en su navegador, principalmente en forma de cookies. Esta información puede referirse a usted, sus preferencias o su dispositivo y se usa principalmente para que el sitio funcione como espera. Por lo general, la información no lo identifica directamente, pero puede brindarle una experiencia web más personalizada. Debido a que respetamos su derecho a la privacidad, puede optar por no permitir algunos tipos de cookies. Haga clic en los diferentes títulos de categoría para obtener más información y cambiar nuestros ajustes predeterminados. Sin embargo, bloquear algunos tipos de cookies puede afectar su experiencia en el sitio y los servicios que podemos ofrecer. Política de privacidadDeclaración
Gestionar preferencias
Cookie estrictamente necesario
Siempre activo
Estos cookies son necesarios para que el sitio web funcione y no pueden ser desactivados en nuestros sistemas. Por lo general, solo se establecen en respuesta a acciones que realice usted que equivalen a una solicitud de servicios, como configurar sus preferencias de privacidad, iniciar sesión o completar formularios. Puede configurar su navegador para bloquear estos cookies o alertarle sobre ellos, pero algunas partes del sitio no funcionarán luego. Estos cookies no almacenan ninguna información que permita identificar personalmente.