JD.com, AI 발전 가속화를 위한 ‘JoyAI-LLM-Flash’ 모델 공개

JD.com은 2월 14일 Hugging Face 플랫폼을 통해 최신 대규모 언어 모델인 JoyAI-LLM-Flash를 공개했습니다. 이 모델은 총 48억 개의 파라미터를 갖추고 있으며, 추론 시 30억 개가 활성화됩니다. 20조 개의 텍스트 토큰으로 사전 훈련된 이 모델은 최신 지식 이해, 논리적 추론 및 프로그래밍 작업에서 뛰어난 능력을 보여줍니다.
JoyAI-LLM-Flash는 강화 학습에 파이버 번들 이론을 접목한 새로운 FiberPO 최적화 프레임워크를 활용합니다. Muon 최적화기와 밀집형 다중 토큰 예측(MTP) 기술을 결합한 이 접근 방식은 기존 모델을 확장할 때 흔히 발생하는 불안정성 문제를 효과적으로 해결합니다. MTP가 적용되지 않은 버전과 비교했을 때 처리량이 1.3~1.7배 증가하여, 훈련 효율성과 실제 적용 가능성을 모두 크게 높였습니다.
이 모델은 40개의 레이어로 구성된 혼합 전문가(MoE) 아키텍처를 기반으로 구축되었습니다. 128K 토큰의 컨텍스트 길이를 지원하며 129K의 어휘를 갖추고 있어, JD.com이 인공지능 분야에서 이룬 상당한 진전을 보여줍니다.
관련 기사
스웨덴의 AI 스타트업 로버블 아이즈, 주요 자금 조달 라운드 이후 132억 달러의 기업 가치 달성
AI 기반 코딩 도구가 인기를 얻으면서 스웨덴 스타트업 로버블(Lovable)이 주요 자금 조달 라운드를 성사시켰다. 이 회사는 30억 달러를 조달하여 지난 12월 기록된 66억 달러의 두 배인 132억 달러의 기업 가치를 달성할 수 있을 것으로 기대된다. 멘로 벤처스(Menlo Ventures)가 이 투자 라운드를 주도할 것으로 예상된다.로버블의 매력은 복잡한 코딩 기술이 필요하지 않은 소프트웨어 제작을 단순화하는 핵심 '바이브 코딩(vib
구글, 사용자 제어 강화에 맞춰 제미니용 레미 AI 에이전트 테스트
비즈니스 인사이더에 따르면, 구글은 제미나이를 위한 새로운 AI 개인 에이전트인 레미를 테스트하고 있습니다. 이 도구는 사용자를 대신하여 작업을 실행하여 전문적인 워크플로우와 일상적인 루틴을 모두 간소화하는 것을 목표로 합니다.현재 레미는 제미나이 애플리케이션의 내부 직원 전용 버전에서 테스트 중입니다. 이 보고서는 내부 문서와 프로젝트에 정통한 두 명의 인물과의 인터뷰를 인용합니다. 내부 자료는 레미를 “24/7 개인 에이전트”로 묘사하며,
Core Web Vitals를 수정하여 SEO 순위 향상을 위한 방법
AI 도구를 활용한 성적표 코멘트 작성 간소화서론성적표 코멘트 생성을 위한 AI 도구매직 스쿨(Magic School)알마낙 AI(Almanac AI)챗 GPT(Chat GPT)매직 스쿨을 사용하여 성적표 코멘트 생성하기매직 스쿨 로그인성적표 코멘트 도구 선택학생별 코멘트 맞춤 설정알마낙 AI를 사용하여 성적표 코멘트 생성하기과정 및 평가 체계 설정성적표 분량 및 학생 정보 구성알마낙 AI를 통한 코멘트 생성매직 스쿨과
관련 특별 주제 추천
의견 (1)
0/500

JD.com은 2월 14일 Hugging Face 플랫폼을 통해 최신 대규모 언어 모델인 JoyAI-LLM-Flash를 공개했습니다. 이 모델은 총 48억 개의 파라미터를 갖추고 있으며, 추론 시 30억 개가 활성화됩니다. 20조 개의 텍스트 토큰으로 사전 훈련된 이 모델은 최신 지식 이해, 논리적 추론 및 프로그래밍 작업에서 뛰어난 능력을 보여줍니다.
JoyAI-LLM-Flash는 강화 학습에 파이버 번들 이론을 접목한 새로운 FiberPO 최적화 프레임워크를 활용합니다. Muon 최적화기와 밀집형 다중 토큰 예측(MTP) 기술을 결합한 이 접근 방식은 기존 모델을 확장할 때 흔히 발생하는 불안정성 문제를 효과적으로 해결합니다. MTP가 적용되지 않은 버전과 비교했을 때 처리량이 1.3~1.7배 증가하여, 훈련 효율성과 실제 적용 가능성을 모두 크게 높였습니다.
이 모델은 40개의 레이어로 구성된 혼합 전문가(MoE) 아키텍처를 기반으로 구축되었습니다. 128K 토큰의 컨텍스트 길이를 지원하며 129K의 어휘를 갖추고 있어, JD.com이 인공지능 분야에서 이룬 상당한 진전을 보여줍니다.
스웨덴의 AI 스타트업 로버블 아이즈, 주요 자금 조달 라운드 이후 132억 달러의 기업 가치 달성
AI 기반 코딩 도구가 인기를 얻으면서 스웨덴 스타트업 로버블(Lovable)이 주요 자금 조달 라운드를 성사시켰다. 이 회사는 30억 달러를 조달하여 지난 12월 기록된 66억 달러의 두 배인 132억 달러의 기업 가치를 달성할 수 있을 것으로 기대된다. 멘로 벤처스(Menlo Ventures)가 이 투자 라운드를 주도할 것으로 예상된다.로버블의 매력은 복잡한 코딩 기술이 필요하지 않은 소프트웨어 제작을 단순화하는 핵심 '바이브 코딩(vib
Core Web Vitals를 수정하여 SEO 순위 향상을 위한 방법
AI 도구를 활용한 성적표 코멘트 작성 간소화서론성적표 코멘트 생성을 위한 AI 도구매직 스쿨(Magic School)알마낙 AI(Almanac AI)챗 GPT(Chat GPT)매직 스쿨을 사용하여 성적표 코멘트 생성하기매직 스쿨 로그인성적표 코멘트 도구 선택학생별 코멘트 맞춤 설정알마낙 AI를 사용하여 성적표 코멘트 생성하기과정 및 평가 체계 설정성적표 분량 및 학생 정보 구성알마낙 AI를 통한 코멘트 생성매직 스쿨과





집






