Heim
M6 Intelligence und Tsinghua veröffentlichen Open-Source-Projekt „BitCPM-CANN“ für die Ausführung großer Modelle auf Mobilgeräten
MBLab hat in Zusammenarbeit mit der Tsinghua-Universität und der Open-Source-Community OpenBMB kürzlich einen bedeutenden Durchbruch beim Training großer Modelle mit geringer Bitrate veröffentlicht und als Open Source zur Verfügung gestellt: BitCPM-CANN. Dieser Meilenstein, der nativ auf der Ascend-Plattform von Huawei entwickelt wurde, treibt die Gewichtsreduzierung und den technischen Einsatz großer KI-Modelle am Edge voran.

Sechsfacher Speichervorteil überwindet Hardware-Barrieren
BitCPM-CANN, das nun als Open-Source-Software verfügbar ist, gibt es in vier Größen: 0,5B, 1B, 3B und 8B. Im direkten Vergleich mit Modellen gleicher Größe in voller Genauigkeit liefert es eine herausragende Leistung. Im Vergleich zur herkömmlichen BF16-Präzision erzielt es bei der Inferenz eine etwa sechsmal so hohe Speichereinsparung, wodurch der für die Ausführung großer Modelle erforderliche Hardwareaufwand drastisch reduziert wird.
Für mobile Geräte bedeutet dieser sechsfache Speichervorteil, dass große Modelle mit 8B Parametern – für die früher High-End-Hardware erforderlich war – nun reibungslos auf gängigen Flaggschiff-Smartphones laufen können. Dieser bemerkenswerte Speicherpuffer beschleunigt direkt die Einführung und den kommerziellen Einsatz von Edge-AI-Technologie auf mobilen Plattformen.
Hohe Beibehaltungsrate bestätigt die Reproduzierbarkeit der Entwicklung
Trotz der Reduzierung der Modellgröße behält BitCPM-CANN eine außergewöhnlich hohe Leistung bei, mit Leistungserhaltungsraten zwischen 90 % und 97,2 %. Bei den drei größeren Modellgrößen liegen die Retentionsraten zwischen 95,7 % und 97,2 %, während selbst die kleinste 0,5-Milliarden-Variante 90 % übersteigt.
Diese beeindruckenden Ergebnisse belegen systematisch, dass der Low-Bit-Trainingsansatz eine hohe Skalierbarkeit und technische Reproduzierbarkeit bietet. MBLab hat mithilfe dieser Kerntechnologien eine umfassende Grundlage für das Low-Bit-Training geschaffen, die den gesamten technischen Stack abdeckt – einschließlich Umgebungsanpassung, Unterstützung für 32K-Langsequenzen und fusionierte Operatoren – und damit eine robuste öffentliche Infrastruktur für zukünftige Arbeiten zum Low-Bit-Training auf der Ascend-Plattform bereitstellt.
Verwandter Artikel
U.S.-Aktien erreichen historischen Meilenstein, während KI- und Luft- und Raumfahrtriesen auf ihr Debüt als Billionen-Dollar-Unternehmen vorbereiten
Elon Musk, Sam Altman und Dario Amodei, drei Giganten des Technologiesektors, schreiten den Börsengängen ihrer jeweiligen Unternehmen voran. Mit SpaceX, OpenAI und Anthropic – drei Branchenriesen, die einer Bewertung von einer Billion US-Dollar nahek
Schwedisches KI-Startup Lovable Eyes: Bewertung von 13,2 Milliarden US-Dollar nach großer Finanzierungsrunde
Während KI-gestützte Coding-Tools an Popularität gewinnen, hat das schwedische Startup Lovable eine bedeutende Finanzierungsrunde abgeschlossen. Das Unternehmen strebt danach, 3 Milliarden US-Dollar einzusammeln, was seine Bewertung potenziell auf 13
Google testet den Remy AI Agent für Gemini, da der Fokus auf die Benutzerkontrolle verlagert wird
Laut Business Insider testet Google Remy, einen neuen KI-Personalagenten für Gemini. Dieses Tool soll Aufgaben im Auftrag von Nutzern ausführen und sowohl professionelle Arbeitsabläufe als auch tägliche Routinen optimieren.Derzeit wird Remy in einer
Empfehlungen zu verwandten Spezialthemen
Kommentare (0)
MBLab hat in Zusammenarbeit mit der Tsinghua-Universität und der Open-Source-Community OpenBMB kürzlich einen bedeutenden Durchbruch beim Training großer Modelle mit geringer Bitrate veröffentlicht und als Open Source zur Verfügung gestellt: BitCPM-CANN. Dieser Meilenstein, der nativ auf der Ascend-Plattform von Huawei entwickelt wurde, treibt die Gewichtsreduzierung und den technischen Einsatz großer KI-Modelle am Edge voran.

Sechsfacher Speichervorteil überwindet Hardware-Barrieren
BitCPM-CANN, das nun als Open-Source-Software verfügbar ist, gibt es in vier Größen: 0,5B, 1B, 3B und 8B. Im direkten Vergleich mit Modellen gleicher Größe in voller Genauigkeit liefert es eine herausragende Leistung. Im Vergleich zur herkömmlichen BF16-Präzision erzielt es bei der Inferenz eine etwa sechsmal so hohe Speichereinsparung, wodurch der für die Ausführung großer Modelle erforderliche Hardwareaufwand drastisch reduziert wird.
Für mobile Geräte bedeutet dieser sechsfache Speichervorteil, dass große Modelle mit 8B Parametern – für die früher High-End-Hardware erforderlich war – nun reibungslos auf gängigen Flaggschiff-Smartphones laufen können. Dieser bemerkenswerte Speicherpuffer beschleunigt direkt die Einführung und den kommerziellen Einsatz von Edge-AI-Technologie auf mobilen Plattformen.
Hohe Beibehaltungsrate bestätigt die Reproduzierbarkeit der Entwicklung
Trotz der Reduzierung der Modellgröße behält BitCPM-CANN eine außergewöhnlich hohe Leistung bei, mit Leistungserhaltungsraten zwischen 90 % und 97,2 %. Bei den drei größeren Modellgrößen liegen die Retentionsraten zwischen 95,7 % und 97,2 %, während selbst die kleinste 0,5-Milliarden-Variante 90 % übersteigt.
Diese beeindruckenden Ergebnisse belegen systematisch, dass der Low-Bit-Trainingsansatz eine hohe Skalierbarkeit und technische Reproduzierbarkeit bietet. MBLab hat mithilfe dieser Kerntechnologien eine umfassende Grundlage für das Low-Bit-Training geschaffen, die den gesamten technischen Stack abdeckt – einschließlich Umgebungsanpassung, Unterstützung für 32K-Langsequenzen und fusionierte Operatoren – und damit eine robuste öffentliche Infrastruktur für zukünftige Arbeiten zum Low-Bit-Training auf der Ascend-Plattform bereitstellt.
U.S.-Aktien erreichen historischen Meilenstein, während KI- und Luft- und Raumfahrtriesen auf ihr Debüt als Billionen-Dollar-Unternehmen vorbereiten
Elon Musk, Sam Altman und Dario Amodei, drei Giganten des Technologiesektors, schreiten den Börsengängen ihrer jeweiligen Unternehmen voran. Mit SpaceX, OpenAI und Anthropic – drei Branchenriesen, die einer Bewertung von einer Billion US-Dollar nahek
Schwedisches KI-Startup Lovable Eyes: Bewertung von 13,2 Milliarden US-Dollar nach großer Finanzierungsrunde
Während KI-gestützte Coding-Tools an Popularität gewinnen, hat das schwedische Startup Lovable eine bedeutende Finanzierungsrunde abgeschlossen. Das Unternehmen strebt danach, 3 Milliarden US-Dollar einzusammeln, was seine Bewertung potenziell auf 13











