Дом
JD.com представляет модель JoyAI-LLM-Flash для ускорения развития искусственного интеллекта

14 февраля компания JD.com открыла доступ к своей новейшей большой языковой модели JoyAI-LLM-Flash на платформе Hugging Face. Модель насчитывает в общей сложности 4,8 миллиарда параметров, из которых 3 миллиарда активируются во время инференции. Она была предварительно обучена на 20 триллионах текстовых токенов и демонстрирует высокую эффективность в понимании современных знаний, логическом мышлении и решении задач программирования.
JoyAI-LLM-Flash использует новую оптимизационную структуру FiberPO, которая внедряет теорию пучков волокон в обучение с подкреплением. В сочетании с оптимизатором Muon и технологией плотного многотокенного прогнозирования (MTP) этот подход эффективно решает проблемы нестабильности, характерные для масштабирования традиционных моделей. По сравнению с версиями без MTP ее пропускная способность увеличилась в 1,3–1,7 раза, что значительно повысило как эффективность обучения, так и потенциал практического применения.
Модель построена на архитектуре «смеси экспертов» (MoE) и состоит из 40 слоев. Она поддерживает длину контекста в 128 тысяч токенов и имеет словарный запас в 129 тысяч токенов, что представляет собой существенный шаг вперед для JD.com в области искусственного интеллекта.
Связанная статья
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её
Google тестирует агента Remy AI для Gemini по мере смещения фокуса на управление пользователями
Согласно Business Insider, Google тестирует Remy, нового ИИ-персонального агента для Gemini. Этот инструмент предназначен для выполнения задач от имени пользователей, упрощая как профессиональные рабочие процессы, так и повседневные рутины.В настоящ
Рекомендации по связанным специальным темам
Комментарии (1)

14 февраля компания JD.com открыла доступ к своей новейшей большой языковой модели JoyAI-LLM-Flash на платформе Hugging Face. Модель насчитывает в общей сложности 4,8 миллиарда параметров, из которых 3 миллиарда активируются во время инференции. Она была предварительно обучена на 20 триллионах текстовых токенов и демонстрирует высокую эффективность в понимании современных знаний, логическом мышлении и решении задач программирования.
JoyAI-LLM-Flash использует новую оптимизационную структуру FiberPO, которая внедряет теорию пучков волокон в обучение с подкреплением. В сочетании с оптимизатором Muon и технологией плотного многотокенного прогнозирования (MTP) этот подход эффективно решает проблемы нестабильности, характерные для масштабирования традиционных моделей. По сравнению с версиями без MTP ее пропускная способность увеличилась в 1,3–1,7 раза, что значительно повысило как эффективность обучения, так и потенциал практического применения.
Модель построена на архитектуре «смеси экспертов» (MoE) и состоит из 40 слоев. Она поддерживает длину контекста в 128 тысяч токенов и имеет словарный запас в 129 тысяч токенов, что представляет собой существенный шаг вперед для JD.com в области искусственного интеллекта.
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её











