JD.com dévoile le modèle JoyAI-LLM-Flash pour faire progresser l'IA

Le 14 février, JD.com a mis à la disposition du public son dernier grand modèle linguistique, JoyAI-LLM-Flash, sur la plateforme Hugging Face. Ce modèle compte au total 4,8 milliards de paramètres, dont 3 milliards sont activés lors de l'inférence. Pré-entraîné sur 20 000 milliards de tokens textuels, il fait preuve d'une grande maîtrise dans la compréhension des connaissances contemporaines, le raisonnement logique et les tâches de programmation.
JoyAI-LLM-Flash utilise un nouveau cadre d'optimisation FiberPO, qui intègre la théorie des faisceaux de fibres dans l'apprentissage par renforcement. Associée à l'optimiseur Muon et à la technologie de prédiction multi-tokens dense (MTP), cette approche résout efficacement les problèmes d'instabilité courants lors de la mise à l'échelle des modèles traditionnels. Par rapport aux versions sans MTP, son débit a été multiplié par 1,3 à 1,7, ce qui améliore considérablement à la fois l'efficacité de l'entraînement et le potentiel d'application pratique.
Le modèle repose sur une architecture de type « mixture-of-experts » (MoE) et comporte 40 couches. Il prend en charge une longueur de contexte de 128 000 tokens et dispose d'un vocabulaire de 129 000 mots, ce qui représente une avancée considérable pour JD.com dans le domaine de l'intelligence artificielle.
Article connexe
Suno appose des filigranes aux chansons dans le cadre de batailles juridiques
Suno, la plateforme permettant aux utilisateurs de générer de la musique créée par l’intelligence artificielle, a dévoilé de nouvelles fonctionnalités pour étiqueter les titres produits sur la plateforme, restreindre les téléchargements et mettre à j
Musk admet que la construction de Grok a divulgué le code utilisateur, promet d’effacer toutes les données historiques
Elon Musk a abordé directement la controverse sur la vie privée concernant Grok Build, en commençant par un simple « Vrai » pour confirmer la validité de l’incident. Il s’est engagé à ce que toutes les données utilisateur précédemment téléchargées su
Les actions américaines atteignent un jalon historique alors que les géants de l'IA et de l'aérospatiale se préparent pour leur entrée boursière à la valeur du trillion de dollars.
Elon Musk, Sam Altman et Dario Amodei, trois titans du secteur technologique, s’approchent des introductions en bourse de leurs entreprises respectives. Avec SpaceX, OpenAI et Anthropic – trois géants de l’industrie dont les valorisations approchent
Recommandations de sujets spéciaux liés
commentaires (1)

Le 14 février, JD.com a mis à la disposition du public son dernier grand modèle linguistique, JoyAI-LLM-Flash, sur la plateforme Hugging Face. Ce modèle compte au total 4,8 milliards de paramètres, dont 3 milliards sont activés lors de l'inférence. Pré-entraîné sur 20 000 milliards de tokens textuels, il fait preuve d'une grande maîtrise dans la compréhension des connaissances contemporaines, le raisonnement logique et les tâches de programmation.
JoyAI-LLM-Flash utilise un nouveau cadre d'optimisation FiberPO, qui intègre la théorie des faisceaux de fibres dans l'apprentissage par renforcement. Associée à l'optimiseur Muon et à la technologie de prédiction multi-tokens dense (MTP), cette approche résout efficacement les problèmes d'instabilité courants lors de la mise à l'échelle des modèles traditionnels. Par rapport aux versions sans MTP, son débit a été multiplié par 1,3 à 1,7, ce qui améliore considérablement à la fois l'efficacité de l'entraînement et le potentiel d'application pratique.
Le modèle repose sur une architecture de type « mixture-of-experts » (MoE) et comporte 40 couches. Il prend en charge une longueur de contexte de 128 000 tokens et dispose d'un vocabulaire de 129 000 mots, ce qui représente une avancée considérable pour JD.com dans le domaine de l'intelligence artificielle.
Suno appose des filigranes aux chansons dans le cadre de batailles juridiques
Suno, la plateforme permettant aux utilisateurs de générer de la musique créée par l’intelligence artificielle, a dévoilé de nouvelles fonctionnalités pour étiqueter les titres produits sur la plateforme, restreindre les téléchargements et mettre à j
Musk admet que la construction de Grok a divulgué le code utilisateur, promet d’effacer toutes les données historiques
Elon Musk a abordé directement la controverse sur la vie privée concernant Grok Build, en commençant par un simple « Vrai » pour confirmer la validité de l’incident. Il s’est engagé à ce que toutes les données utilisateur précédemment téléchargées su
Les actions américaines atteignent un jalon historique alors que les géants de l'IA et de l'aérospatiale se préparent pour leur entrée boursière à la valeur du trillion de dollars.
Elon Musk, Sam Altman et Dario Amodei, trois titans du secteur technologique, s’approchent des introductions en bourse de leurs entreprises respectives. Avec SpaceX, OpenAI et Anthropic – trois géants de l’industrie dont les valorisations approchent





Maison






