Heim
JD.com stellt das JoyAI-LLM-Flash-Modell vor, um den Fortschritt im Bereich der KI voranzutreiben

JD.com hat sein neuestes großes Sprachmodell, JoyAI-LLM-Flash, am 14. Februar auf der Plattform Hugging Face öffentlich zugänglich gemacht. Das Modell verfügt über insgesamt 4,8 Milliarden Parameter, von denen 3 Milliarden während der Inferenz aktiviert werden. Es wurde auf 20 Billionen Text-Tokens vortrainiert und zeigt starke Fähigkeiten beim Verständnis von aktuellem Wissen, beim logischen Schlussfolgern und bei Programmieraufgaben.
JoyAI-LLM-Flash nutzt ein neuartiges FiberPO-Optimierungsframework, das die Faserbündeltheorie in das verstärkende Lernen integriert. In Kombination mit dem Muon-Optimierer und der Dense-Multi-Token-Prediction-Technologie (MTP) bewältigt dieser Ansatz effektiv die Instabilitätsprobleme, die bei der Skalierung traditioneller Modelle häufig auftreten. Im Vergleich zu Versionen ohne MTP hat sich der Durchsatz um das 1,3- bis 1,7-Fache erhöht, was sowohl die Trainingseffizienz als auch das praktische Anwendungspotenzial deutlich steigert.
Das Modell basiert auf einer „Mixture-of-Experts“-Architektur (MoE) mit 40 Schichten. Es unterstützt eine Kontextlänge von 128.000 Token und verfügt über einen Wortschatz von 129.000 Begriffen, was für JD.com einen erheblichen Fortschritt im Bereich der künstlichen Intelligenz darstellt.
Verwandter Artikel
Suno fügt Wasserzeichen in Songs ein, während Rechtsstreitigkeiten andauern
Suno, die Plattform, die es Nutzern ermöglicht, KI-generierte Musik zu erstellen, hat neue Funktionen vorgestellt, um plattformproduzierte Tracks zu kennzeichnen, Downloads einzuschränken und die Community-Richtlinien zu aktualisieren, um unbefugte K
Musk räumt ein, dass Grok-Build Benutzercode geleakt hat, verspricht aber, alle historischen Daten zu löschen
Elon Musk wandte sich direkt an die Datenschutzkontroverse um Grok Build, beginnend mit einem einfachen „True“, um die Gültigkeit des Vorfalls zu bestätigen. Er versprach, dass alle zuvor bei SpaceXAI hochgeladenen Benutzerdaten unwiderruflich gelösc
U.S.-Aktien erreichen historischen Meilenstein, während KI- und Luft- und Raumfahrtriesen auf ihr Debüt als Billionen-Dollar-Unternehmen vorbereiten
Elon Musk, Sam Altman und Dario Amodei, drei Giganten des Technologiesektors, schreiten den Börsengängen ihrer jeweiligen Unternehmen voran. Mit SpaceX, OpenAI und Anthropic – drei Branchenriesen, die einer Bewertung von einer Billion US-Dollar nahek
Empfehlungen zu verwandten Spezialthemen
Kommentare (1)

JD.com hat sein neuestes großes Sprachmodell, JoyAI-LLM-Flash, am 14. Februar auf der Plattform Hugging Face öffentlich zugänglich gemacht. Das Modell verfügt über insgesamt 4,8 Milliarden Parameter, von denen 3 Milliarden während der Inferenz aktiviert werden. Es wurde auf 20 Billionen Text-Tokens vortrainiert und zeigt starke Fähigkeiten beim Verständnis von aktuellem Wissen, beim logischen Schlussfolgern und bei Programmieraufgaben.
JoyAI-LLM-Flash nutzt ein neuartiges FiberPO-Optimierungsframework, das die Faserbündeltheorie in das verstärkende Lernen integriert. In Kombination mit dem Muon-Optimierer und der Dense-Multi-Token-Prediction-Technologie (MTP) bewältigt dieser Ansatz effektiv die Instabilitätsprobleme, die bei der Skalierung traditioneller Modelle häufig auftreten. Im Vergleich zu Versionen ohne MTP hat sich der Durchsatz um das 1,3- bis 1,7-Fache erhöht, was sowohl die Trainingseffizienz als auch das praktische Anwendungspotenzial deutlich steigert.
Das Modell basiert auf einer „Mixture-of-Experts“-Architektur (MoE) mit 40 Schichten. Es unterstützt eine Kontextlänge von 128.000 Token und verfügt über einen Wortschatz von 129.000 Begriffen, was für JD.com einen erheblichen Fortschritt im Bereich der künstlichen Intelligenz darstellt.
Suno fügt Wasserzeichen in Songs ein, während Rechtsstreitigkeiten andauern
Suno, die Plattform, die es Nutzern ermöglicht, KI-generierte Musik zu erstellen, hat neue Funktionen vorgestellt, um plattformproduzierte Tracks zu kennzeichnen, Downloads einzuschränken und die Community-Richtlinien zu aktualisieren, um unbefugte K
Musk räumt ein, dass Grok-Build Benutzercode geleakt hat, verspricht aber, alle historischen Daten zu löschen
Elon Musk wandte sich direkt an die Datenschutzkontroverse um Grok Build, beginnend mit einem einfachen „True“, um die Gültigkeit des Vorfalls zu bestätigen. Er versprach, dass alle zuvor bei SpaceXAI hochgeladenen Benutzerdaten unwiderruflich gelösc
U.S.-Aktien erreichen historischen Meilenstein, während KI- und Luft- und Raumfahrtriesen auf ihr Debüt als Billionen-Dollar-Unternehmen vorbereiten
Elon Musk, Sam Altman und Dario Amodei, drei Giganten des Technologiesektors, schreiten den Börsengängen ihrer jeweiligen Unternehmen voran. Mit SpaceX, OpenAI und Anthropic – drei Branchenriesen, die einer Bewertung von einer Billion US-Dollar nahek











