27B 수학 SOTA 및 3초 감정 복제: Youdao, ‘Zi Yue 4’ 멀티모달 및 TTS 엔진 오픈소스 공개

NetEase Youdao는 최근 자사의 대규모 모델인 ‘Confucius4’를 4.0 버전으로 전면 업그레이드했다고 발표했다. 이제 완전한 다중 모달 기능을 갖춘 Confucius4는 텍스트, 이미지, 오디오 상호작용을 통합적으로 지원한다. 또한 유다오는 핵심 다중 모달 및 텍스트 음성 변환(TTS) 모델을 오픈소스로 공개했으며, 번역 모델은 심층적인 기술적 개편을 거쳐 품질과 효율성 모두에서 개선된 성과를 보여주었습니다.

이 멀티모달 모델은 시각 및 수학 분야에서 최첨단(SOTA) 수준을 달성했으며, 순수 텍스트 수학 문제에서도 뛰어난 성능을 보여줍니다.

발표에 따르면, 270억 개의 매개변수를 가진 오픈소스 ‘Confucius4’ 다중 모달 모델은 교육 시나리오에서 시각 입력 기반 수학 처리 능력을 업계 최고 수준(SOTA)으로 끌어올렸다. 비슷한 규모의 모델 중 ‘Confucius4’는 차트가 포함된 고난도 시각 수학 및 물리 문제 처리에서 뛰어난 성능을 보입니다. 또한 중국어 순수 텍스트 수학 문제에서도 상당한 개선을 보여 81.4%의 정확도를 달성했으며, 이는 업계 최고 수준입니다.

▲ Confucius4는 동급 규모의 모델 중 여러 시각적 수학 벤치마크에서 최고 수준의 성과를 달성했다

이미지 출처: https://huggingface.co/netease-youdao/Confucius4

더 중요한 돌파구는 실질적인 비용 효율성에 있습니다. 관계자들에 따르면, 이 새로운 모델은 정교한 추론 체인 재구성 방식을 채택했습니다. 대량의 고품질 간결한 추론 샘플을 집계하여 심층 최적화를 수행함으로써, 추론 체인의 출력 길이를 43.2% 단축했습니다.

이는 더 적은 토큰과 더 짧은 추론 경로를 통해 더 빠르게 답을 도출할 수 있음을 의미하며, 기업과 개발자의 실제 비즈니스 시나리오에서 추론 비용을 대폭 절감해 줍니다.

▲ Confucius4는 여러 시각적 수학 벤치마크에서 출력 토큰 수를 대폭 줄였습니다

이미지 출처: https://huggingface.co/netease-youdao/Confucius4

또한, Confucius4 연구팀은 중국 학생들이 실제로 마주하는 숙제, 시험, 문제 해결 시나리오에 맞춰 모델을 심층적으로 최적화했습니다. 이를 통해 실제 학습 과제를 해결할 수 있게 되어, 더욱 공감 능력이 뛰어난 디지털 비서가 되었습니다.

오픈소스 TTS: 14개 언어 지원, 3초 만에 원본 음성을 재현하며 언어 간 억양 문제 없음

다중 모달 모델과 함께 음성 합성(TTS) 엔진도 오픈소스로 공개되었습니다. 최첨단 “음성 인코더 + LLM” 아키텍처를 기반으로 구축된 이 엔진은 개발자와 콘텐츠 제작자에게 제로샷 방식의 접근 장벽이 낮은 음성 복제 및 감정 합성 기능을 제공합니다.

현재 중국어, 영어, 일본어, 한국어, 독일어, 프랑스어, 스페인어, 인도네시아어, 이탈리아어, 태국어, 포르투갈어, 러시아어, 말레이어, 베트남어 등 총 14개 언어를 완벽하게 지원합니다. 이 시스템은 추가 훈련 없이도 화자의 목소리를 다른 언어로 자연스럽게 변환할 수 있으며, 목소리의 일관성을 유지하는 동시에 합성된 결과가 원어민처럼 유창하게 들리도록 보장하고, 언어 간 복제 시 억양이 새어 나오는 현상을 방지합니다.

음성 복제 기능의 경우, Confucius4는 완전한 “업로드 및 복제” 기능을 지원합니다. 사용자는 임의의 오디오 자료를 제공하기만 하면, 시스템이 3초 이내에 원본 음성을 복제합니다. 발표에 따르면, 이 엔진의 복제 작업 정확도는 97%를 초과하며, 복제된 목소리와 원본 목소리 간의 유사도는 85% 이상입니다. 이 시스템은 화자의 고유한 음성 특성을 보존하면서 감정적 어조를 정확하게 재현하며, 해당 분야에서 최고 수준에 속하는 포괄적인 기능을 갖추고 있습니다.

또한, 이 오픈소스 모델은 실제 다국어 환경에서 뛰어난 견고성을 보여줍니다. 일상 대화, 뉴스 방송, 기업 홍보, 복잡한 감정 표현 등 다양한 합성 요구 사항을 처리할 수 있습니다.

번역 모델 품질이 전반적으로 향상되었으며, 추론 속도는 80% 빨라졌습니다

유다오(Youdao)의 가장 핵심적인 기술 자산 중 하나인 번역 모델 역시 이번 업데이트를 통해 상당한 기술적 업그레이드를 거치며, 번역 작업에서의 성능을 한층 더 향상시켰습니다.

데이터 측면에서, Confucius 팀은 수십억 건의 다국어 항목을 수집 및 정제하고, TEM-8 인증을 보유한 전문가들을 고용하여 다차원적인 수동 평가를 진행함으로써, 초기 단계부터 고품질 코퍼스를 확보했습니다.

알고리즘 측면에서는 혁신적인 “다중 전문가 OPD” 모드를 사용하여, 다양한 전문가의 강점을 활용하기 위한 더 스마트한 “소프트 접근 방식”을 채택했습니다. 또한 강화 학습을 통해 형식 보상 및 언어 감지 메커니즘을 도입하여, 기계 번역에서 흔히 발생하는 문맥과 동떨어진 번역이나 혼합 언어 출력 같은 문제를 효과적으로 해결했습니다.

고빈도·고동시성 산업용 애플리케이션의 요구 사항을 충족하기 위해, 업데이트된 번역 모델은 전체 추론 속도를 80% 직접 향상시키는 효율적인 가속 메커니즘을 갖추고 있습니다. 대규모 모델의 자동 평가 및 무작위 수동 샘플링을 결합한 맞춤형 솔루션과 함께, 이 차세대 번역 모델은 텍스트, 이미지, 문서 번역을 포함한 다양한 시나리오에서 매우 높은 수준의 속도와 품질을 보여줍니다.

교육용 초대형 모델인 ‘공자(Confucius)’의 첫 출시부터, 전통적인 말하기 연습 방식을 뒤바꾼 ‘가상 말하기 코치 Hi Echo’의 도입, 그리고 ‘공자 2.0’ 및 ‘공자 3.0’을 소프트웨어 및 하드웨어 생태계에 포괄적으로 통합한 것에 이르기까지, 유다오(Youdao)의 AI 여정을 되돌아보면, 유다오는 현실 세계 시나리오에서 AI 활용을 지속적으로 선도해 왔습니다. 2026년, 유다오는 ‘LobsterAI’, ‘유다오 트레저’, ‘유다오 컨퍼런스 에이전트’, ‘Thinkflow’와 같은 일련의 AI 에이전트 제품군을 통해 AI 적용을 가속화하며, 미래 지향적인 전 시나리오 AI 에이전트 매트릭스를 구현했습니다.

Confucius 4의 업그레이드와 핵심 모델의 전면적인 오픈소스화는 다모달 및 음성 합성 분야의 개발자들에게 진입 장벽을 크게 낮춰줄 뿐만 아니라, 기반이 되는 핵심 기술이 상위 계층의 에이전트 매트릭스를 육성하는 생태적 선순환 구조를 보여줍니다. 유다오는 전 세계 개발자와 오픈소스 커뮤니티의 공동 기여를 통해, 이 전 모달 대규모 모델 생태계가 다양한 산업 분야에서 진정한 생산성 혁신을 이끌어내기를 희망합니다.

부록: 오픈소스 주소:

“Confucius4” 멀티모달 모델: https://huggingface.co/netease-youdao/Confucius4

"Confucius4" TTS 모델: https://github.com/netease-youdao/Confucius4-TTS