Liquid AI und Hugging Face haben Draft-Modell-Checkpoints für die drei Modelle der LFM2.5-Serie unter Verwendung von DSpark veröffentlicht. Diese Features einen spekulativen Dekodierpfad, der die Inferenzgeschwindigkeit auf GPUs um bis zu 3,18 Mal und auf Edge-Geräten um 2,87 Mal erhöht, ohne die Ausgabequalität zu beeinträchtigen. In Szenarien mit Edge-Agenten verringert er die Latenz bei den Funktionsaufrufen von LFM2.5-2.6B um 57 Prozent – auf einem M4Max MacBook Pro sind dadurch bis zu 139 Tokens pro Sekunde möglich. Dadurch werden die Hürden für eine lokale Implementierung gesenkt und es wird eine bessere Leistung erzielt als bei einigen proprietären Cloud-Modellen. Die Technologie bewältigt die Einschränkungen hinsichtlich der Speicherkapazitäten bei herkömmlichen Inferenzverfahren, indem sie ein leichtgewichtiges Draft-Modell verwendet, um Kandidaten-Token zu erzeugen, die anschließend einheitlich überprüft werden. Es setzt sich aus einem parallelen Backbone-Netzwerk, einem sequentiellen Head sowie einem Validierer zur Bestimmung des Vertrauensniveaus zusammen. Das ursprüngliche Draft-Modell basiert auf einer ausschließlich auf Attention beruhenden Architektur mit 5 Schichten und 9 Blöcken sowie rund 300 Millionen Parametern. Die Ausgabegenauigkeit bleibt im Vergleich zur Baseline-Methode des gierigen Dekodierens unverändert. Bei der Einführung ist DSpark mit SGLang und llama.cpp kompatibel.
Durch das Klicken auf „Alle Cookies akzeptieren“ stimmen Sie zu, dass Cookies auf Ihrem Gerät gespeichert werden, um die Seitennavigation zu verbessern, die Seitennutzung zu analysieren und unsere Marketingbemühungen zu unterstützen.Datenschutzerklärung Hinweis
Beim Besuch einer Website kann diese Informationen in Ihrem Browser speichern oder abrufen, hauptsächlich in Form von Cookies. Diese Informationen können sich auf Sie, Ihre Präferenzen oder Ihr Gerät beziehen und dienen hauptsächlich dazu, dass die Website so funktioniert, wie Sie es erwarten. Die Informationen identifizieren Sie in der Regel nicht direkt, können Ihnen aber ein personalisierteres Web-Erlebnis bieten. Da wir Ihr Recht auf Privatsphäre respektieren, können Sie wählen, dass Sie bestimmte Arten von Cookies nicht zulassen. Klicken Sie auf die verschiedenen Kategorietitel, um mehr zu erfahren und unsere Standardeinstellungen zu ändern. Das Blockieren bestimmter Arten von Cookies kann jedoch Ihre Erfahrung auf der Website und die von uns angebotenen Dienste beeinträchtigen. DatenschutzerklärungErklärung
Einstellungen verwalten
Unbedingt erforderliche Cookies
Immer aktiv
Diese Cookies sind für die Funktionalität der Website erforderlich und können in unseren Systemen nicht deaktiviert werden. Sie werden normalerweise nur in Reaktion auf Ihre Aktionen gesetzt, die einer Dienstanfrage entsprechen, z. B. das Einstellen Ihrer Datenschutzpräferenzen, das Anmelden oder das Ausfüllen von Formularen. Sie können Ihren Browser so einstellen, dass diese Cookies blockiert oder Sie darüber benachrichtigt werden, aber einige Teile der Website werden dann nicht mehr funktionieren. Diese Cookies speichern keine personenbezogenen Daten.