JD.com presenta el modelo JoyAI-LLM-Flash para impulsar el avance de la IA

JD.com puso a disposición del público su último modelo de lenguaje a gran escala, JoyAI-LLM-Flash, en la plataforma Hugging Face el 14 de febrero. El modelo cuenta con un total de 4.800 millones de parámetros, de los cuales 3.000 millones se activan durante la inferencia. Se ha preentrenado con 20 billones de tokens de texto, lo que le permite demostrar una gran competencia en la comprensión de conocimientos actuales, el razonamiento lógico y las tareas de programación.
JoyAI-LLM-Flash utiliza un novedoso marco de optimización FiberPO, que incorpora la teoría de los haces de fibras al aprendizaje por refuerzo. En combinación con el optimizador Muon y la tecnología de predicción multitoken densa (MTP), este enfoque aborda eficazmente los retos de inestabilidad habituales al escalar modelos tradicionales. En comparación con las versiones sin MTP, su rendimiento se ha incrementado entre 1,3 y 1,7 veces, lo que aumenta significativamente tanto la eficiencia del entrenamiento como el potencial de aplicación práctica.
El modelo se basa en una arquitectura de mezcla de expertos (MoE) y cuenta con 40 capas. Admite una longitud de contexto de 128 000 tokens y tiene un vocabulario de 129 000, lo que supone un avance sustancial para JD.com en el campo de la inteligencia artificial.
Artículo relacionado
Google prueba el agente Remy AI para Gemini a medida que el enfoque se desplaza hacia el control del usuario
Según Business Insider, Google está probando Remy, un nuevo agente personal de IA para Gemini. Esta herramienta tiene como objetivo ejecutar tareas en nombre de los usuarios, optimizando tanto los flujos de trabajo profesionales como las rutinas diar
Cómo corregir las Core Web Vitals para mejorar el posicionamiento SEO
Simplificar los comentarios de las tarjetas de calificación con herramientas de IAIntroducciónHerramientas de IA para generar comentarios de tarjetas de calificaciónMagic SchoolAlmanac AIChat GPTUso de Magic School para generar comentarios de t
Slackbot se convierte en un agente de IA
Slackbot, el asistente automatizado integrado en la plataforma de mensajería corporativa Slack de Salesforce, está evolucionando hacia un agente de inteligencia artificial. El CTO de Salesforce, Parker Harris, prevé que alcance un estatus viral compa
Recomendaciones de temas especiales relacionados
comentario (1)
0/500

JD.com puso a disposición del público su último modelo de lenguaje a gran escala, JoyAI-LLM-Flash, en la plataforma Hugging Face el 14 de febrero. El modelo cuenta con un total de 4.800 millones de parámetros, de los cuales 3.000 millones se activan durante la inferencia. Se ha preentrenado con 20 billones de tokens de texto, lo que le permite demostrar una gran competencia en la comprensión de conocimientos actuales, el razonamiento lógico y las tareas de programación.
JoyAI-LLM-Flash utiliza un novedoso marco de optimización FiberPO, que incorpora la teoría de los haces de fibras al aprendizaje por refuerzo. En combinación con el optimizador Muon y la tecnología de predicción multitoken densa (MTP), este enfoque aborda eficazmente los retos de inestabilidad habituales al escalar modelos tradicionales. En comparación con las versiones sin MTP, su rendimiento se ha incrementado entre 1,3 y 1,7 veces, lo que aumenta significativamente tanto la eficiencia del entrenamiento como el potencial de aplicación práctica.
El modelo se basa en una arquitectura de mezcla de expertos (MoE) y cuenta con 40 capas. Admite una longitud de contexto de 128 000 tokens y tiene un vocabulario de 129 000, lo que supone un avance sustancial para JD.com en el campo de la inteligencia artificial.
Cómo corregir las Core Web Vitals para mejorar el posicionamiento SEO
Simplificar los comentarios de las tarjetas de calificación con herramientas de IAIntroducciónHerramientas de IA para generar comentarios de tarjetas de calificaciónMagic SchoolAlmanac AIChat GPTUso de Magic School para generar comentarios de t
Slackbot se convierte en un agente de IA
Slackbot, el asistente automatizado integrado en la plataforma de mensajería corporativa Slack de Salesforce, está evolucionando hacia un agente de inteligencia artificial. El CTO de Salesforce, Parker Harris, prevé que alcance un estatus viral compa





Hogar






