JD.com apresenta o modelo JoyAI-LLM-Flash para impulsionar o avanço da IA

A JD.com disponibilizou publicamente seu mais recente modelo de linguagem de grande escala, o JoyAI-LLM-Flash, na plataforma Hugging Face em 14 de fevereiro. O modelo possui um total de 4,8 bilhões de parâmetros, dos quais 3 bilhões são ativados durante a inferência. Ele foi pré-treinado com 20 trilhões de tokens de texto, demonstrando grande proficiência na compreensão de conhecimentos contemporâneos, raciocínio lógico e tarefas de programação.
O JoyAI-LLM-Flash utiliza uma nova estrutura de otimização FiberPO, que incorpora a teoria dos feixes de fibras ao aprendizado por reforço. Combinada com o otimizador Muon e a tecnologia de previsão multitoken densa (MTP), essa abordagem resolve de forma eficaz os desafios de instabilidade comuns ao dimensionamento de modelos tradicionais. Em comparação com versões sem MTP, sua taxa de processamento aumentou de 1,3 a 1,7 vezes, elevando significativamente tanto a eficiência do treinamento quanto o potencial de aplicação prática.
O modelo é construído sobre uma arquitetura de mistura de especialistas (MoE), com 40 camadas. Ele suporta um comprimento de contexto de 128 mil tokens e possui um vocabulário de 129 mil, representando um avanço substancial para a JD.com no campo da inteligência artificial.
Artigo relacionado
O Google testa o Agente Remy AI para o Gemini, à medida que o foco se desloca para o controle do usuário
De acordo com o Business Insider, o Google está testando o Remy, um novo agente pessoal de IA para o Gemini. Esta ferramenta tem como objetivo executar tarefas em nome dos usuários, simplificando tanto os fluxos de trabalho profissionais quanto as ro
Como corrigir as Core Web Vitals para melhorar o ranqueamento de SEO
Simplifique os Comentários do Boletim Escolar com Ferramentas de IAIntroduçãoFerramentas de IA para Gerar Comentários do Boletim EscolarMagic SchoolAlmanac AIChat GPTUsando o Magic School para Gerar Comentários do Boletim EscolarFazendo login n
O Slackbot torna-se um Agente de IA
O Slackbot, o assistente automatizado integrado à plataforma de mensagens corporativas Slack da Salesforce, está se transformando em um agente de IA. O CTO da Salesforce, Parker Harris, prevê que ele alcance um status viral comparável ao do ChatGPT d
Recomendações de tópicos especiais relacionados
Comentários (1)

A JD.com disponibilizou publicamente seu mais recente modelo de linguagem de grande escala, o JoyAI-LLM-Flash, na plataforma Hugging Face em 14 de fevereiro. O modelo possui um total de 4,8 bilhões de parâmetros, dos quais 3 bilhões são ativados durante a inferência. Ele foi pré-treinado com 20 trilhões de tokens de texto, demonstrando grande proficiência na compreensão de conhecimentos contemporâneos, raciocínio lógico e tarefas de programação.
O JoyAI-LLM-Flash utiliza uma nova estrutura de otimização FiberPO, que incorpora a teoria dos feixes de fibras ao aprendizado por reforço. Combinada com o otimizador Muon e a tecnologia de previsão multitoken densa (MTP), essa abordagem resolve de forma eficaz os desafios de instabilidade comuns ao dimensionamento de modelos tradicionais. Em comparação com versões sem MTP, sua taxa de processamento aumentou de 1,3 a 1,7 vezes, elevando significativamente tanto a eficiência do treinamento quanto o potencial de aplicação prática.
O modelo é construído sobre uma arquitetura de mistura de especialistas (MoE), com 40 camadas. Ele suporta um comprimento de contexto de 128 mil tokens e possui um vocabulário de 129 mil, representando um avanço substancial para a JD.com no campo da inteligência artificial.
Como corrigir as Core Web Vitals para melhorar o ranqueamento de SEO
Simplifique os Comentários do Boletim Escolar com Ferramentas de IAIntroduçãoFerramentas de IA para Gerar Comentários do Boletim EscolarMagic SchoolAlmanac AIChat GPTUsando o Magic School para Gerar Comentários do Boletim EscolarFazendo login n
O Slackbot torna-se um Agente de IA
O Slackbot, o assistente automatizado integrado à plataforma de mensagens corporativas Slack da Salesforce, está se transformando em um agente de IA. O CTO da Salesforce, Parker Harris, prevê que ele alcance um status viral comparável ao do ChatGPT d





Lar






