집알리바바의 통이 랩(Tongyi Lab), ‘Fun-CineForge’ 오픈소스 공개… 다중 화자 더빙 과제 해결
영화나 애니메이션과 같이 성공 여부가 중요한 제작물에서는 미묘한 감정적 절정을 포착하고 입모양을 완벽하게 동기화하는 것이 무엇보다 중요하지만, 기존의 AI 음성 더빙 기술은 종종 이러한 요구를 충족시키지 못합니다. 이러한 업계의 핵심 과제를 해결하기 위해 Tongyi Lab은 획기적인 영화급 다중 시나리오 다중 모달 더빙 모델인 ‘Fun-CineForge’를 공식 출시하고 오픈소스로 공개했습니다.
시청각적 격차 해소: 매끄러운 싱크를 위한 4대 기둥 프레임워크
Fun-CineForge는 단순한 텍스트 음성 변환(TTS)에 의존하는 대신, 전문 더빙의 네 가지 핵심 요소를 완벽히 구현하도록 설계되었습니다:
립싱크: 합성된 음성이 화면 속 캐릭터의 입 모양과 탁월한 정밀도로 일치하도록 보장합니다.
감정 표현: 얼굴 표정과 문맥적 지시를 분석하여 목소리에 진정한 인간적인 감정을 불어넣습니다.
음성 일관성: 복잡한 다중 화자 대화 장면에서도 특정 캐릭터에 대해 안정적이고 식별 가능한 음성 정체성을 유지합니다.
시간 정렬: 화면에 등장하지 않거나 부분적으로 가려진 화자의 대사도 밀리초 단위의 정확도로 삽입할 수 있습니다.
핵심 혁신: 선구적인 "시간 모달리티(Time Modality)"와 고품질 데이터셋
Fun-CineForge의 기술적 도약은 독특한 "데이터 + 모델" 공동 설계 철학에서 비롯됩니다:
CineDub 고품질 데이터셋: Tongyi Lab은 자동화된 CineDub 데이터셋 구축 파이프라인도 오픈소스로 공개했습니다. 이 파이프라인은 사고 연쇄(chain-of-thought) 오류 수정 메커니즘을 활용하여 중국어 및 영어 텍스트의 전사 오류율을 약 1%~2%로 낮추고, 화자 식별 오류를 1.2%까지 대폭 줄였습니다.
4모달리티 융합 아키텍처: 이 모델은 "시간 모달리티"를 통합하여 시각적 입력(입 모양 및 표정), 텍스트(대화 및 감정적 맥락), 오디오(음성 참조)를 공동으로 모델링하는 선구적인 방식을 도입했습니다. 이러한 융합을 통해 얼굴이 보이지 않는 장면을 포함한 까다로운 장면에서도 정확한 동기화가 가능합니다.
입증된 우수성: 혁신적인 사실적인 다인물 대화 더빙
벤치마크 결과에 따르면 Fun-CineForge는 단어 오류율(WER/CER), 입술 동기화(LSE-C/D), 음성 유사도 등 주요 지표에서 DeepDubber-V1과 같은 기준 모델보다 현저히 우수한 성능을 보입니다. 특히 듀엣 및 다인 대화도 정밀하게 처리할 수 있는 업계 최초의 기능을 구현하여, 최대 30초 분량의 영상 클립에서도 뛰어난 견고성을 보여줍니다.
GitHub: https://github.com/FunAudioLLM/FunCineForge
HuggingFace: https://huggingface.co/FunAudioLLM/Fun-CineForge
ModelScope: https://www.modelscope.cn/models/FunAudioLLM/Fun-CineForge/
관련 기사
리눅스 재단에 6대 기술 거대기업이 1250만 달러를 지원해 AI 취약성 소음 문제 해결에 나서다
AI 자동화 도구가 생성한 저품질 보안 보고서의 홍수를 처리하기 위해, 앤트로픽(Anthropic), 아마존(AWS), 깃허브(GitHub), 구글(Google), 마이크로소프트(Microsoft), 오픈AI(OpenAI) 등 6대 주요 기술 기업은 리눅스 재단(Linux Foundation) 이니셔티브에 총 1,250만 달러의 자금을 공동으로 기부했습니다. 이 투자는 오픈 소스 소프트웨어(FOSS) 유지 관리자가 수동 선별의 부담에서 벗어나
[[IMG_BASE64_PLACEHOLDER]] 머스크, 오픈AI를 자녀들에게 넘길 가능성 고려… 알트만 증언
오늘 아침, 오픈에이아이(OpenAI)의 샘 알트만(Sam Altman) 최고경영자(CEO)는 회사의 기업 구조에 이의를 제기한 전 공동 창업자 일론 머스크(Elon Musk)의 소송에 대응하기 위해 증언대에 섰습니다.머스크가 비영리 자선단체를 사적 이익을 추구하는 자회사로 전환하여 AI 기반 제품을 마케팅한 다른 창업자들이 “자선단체를 훔쳤다”고 주장한 것과 관련해 질문을 받자, 알트만은 뚜렷한 망설임으로 응답했습니다.“그런 프레임으로 받
관련 특별 주제 추천
음악 작곡
songwriter, 후크, 탑라인 및 다국어 초안 세션을 위한 AI 보컬 데모 도구
2026년 최신 최고의 AI 보컬 데모 도구: 작곡가, 후크 제작자 및 다국어 콘텐츠 팀을 위한! XIX.AI는 엄격한 실전 테스트를 거친 강력한 혁신 도구의 최고 평점 목록을 선별했습니다. 여기서는 무료 대 유료 비교 데이터, 종합 순위, 그리고 필수 추천 옵션을 확인할 수 있어 작사 효율성을 높이고 창의적 잠재력을 발휘하는 데 도움이 됩니다. 지금 탐색하여 모든 콘텐츠 요구에 맞는 완벽한 도구를 발견하세요!
9 도구
xix.ai
사업
중소기업을 위한 최고의 AI 경쟁사 분석 도구
2026년 중소기업을 위한 최신 최고 평점의 AI 경쟁 분석 도구! XIX.AI는 매주 엄격한 실제 테스트와 상세한 순위를 바탕으로 업데이트되는, 업계 판도를 바꿀 만큼 강력한 도구 모음을 엄선했습니다. 생산성을 높이고 경쟁 우위를 확보할 수 있는 ‘꼭 사용해 봐야 할’ 도구를 찾아보실 수 있도록, 무료 버전과 유료 버전의 포괄적인 비교 정보를 제공합니다. 지금 바로 살펴보고 여러분에게 딱 맞는 도구를 찾아보세요!
9 도구
xix.ai
이미지 편집
이커머스 의류용 Photoshop AI 보정 도구, 피부 결 정리 및 색상 일관성
2026년 최신 최고의 Photoshop AI 보정 도구: 이커머스 의류, 피부 클리닝, 색상 일관성을 위한! 이 상위 평가 큐레이션 목록은 글쓰기 효율성을 높이고 콘텐츠 제작을 간소화하며 완벽한 시각적 결과를 손쉽게 달성하는 데 도움이 되는 강력한 게임 체인저 솔루션을 특징으로 합니다. 각 도구는 매주 업데이트되는 랭킹을 통해 실제 테스트를 거쳤으며, 무료 대 유료 비교 세부 사항도 포함되어 있습니다. XIX.AI의 지원을 받아 AI 경쟁력을 발휘하고자 하는 모든 이들에게 필수 추천 가이드입니다. 지금 탐색하세요!
10 도구
xix.ai
즉각적인
ChatGPT 워크플로우에 가장 적합한 AI 프롬프트 라이브러리
2026년 최신 최고 평점을 받은 AI 프롬프트 라이브러리로, 모든 유형의 ChatGPT 워크플로우를 최적화하세요. XIX.AI는 최고의 성능을 보장하기 위해 엄격한 실전 테스트를 거친, 강력하고 획기적인 컬렉션을 엄선했습니다. 생산성을 높이고 AI의 잠재력을 최대한 발휘할 수 있는 필수 도구를 선택하는 데 도움이 되는 무료 vs 유료 상세 비교 정보와 전문가 순위를 확인해 보세요. 지금 바로 살펴보세요!
11 도구
xix.ai
교육 및 학습
교사, 과외 교사 및 코호트 기반 학습 프로그램을 위한 AI 퀴즈 빌더 플랫폼
2026년 최신 최고의 AI 퀴즈 빌더 플랫폼: 교사, 튜터 및 코호트 기반 학습 프로그램을 위한! XIX.AI는 실제 테스트를 거쳐 정확한 순위를 제공하는 강력한 게임 체인저 도구들의 최고 평점 목록을 선별했습니다. 이 필수 플랫폼은 모든 학습 시나리오에서 글쓰기 효율성을 높이고, 콘텐츠 제작을 간소화하며, 퀴즈 설계를 단순화하는 데 도움을 줍니다. 지금 탐색하여 교육에서 AI의 이점을 최대한 활용할 수 있는 완벽한 도구를 발견하세요!
13 도구
xix.ai
암호
리팩토링, 버그, 보안 취약점을 처리하는 GitHub 팀을 위한 AI 풀 리퀘스트 검토 도구
GitHub 팀을 위한 2026년 최신 최고의 AI 풀 리퀘스트 검토 도구가 XIX.AI에 소개되었습니다! 이 엄선된 최고 평점 목록은 모든 팀 워크플로우 전반에 걸쳐 리팩토링, 버그 수정, 보안 취약점 탐지를 효율화해 주는 획기적인 솔루션을 선보입니다. 무료와 유료 버전의 비교 분석은 물론, 실제 테스트 결과와 상세한 순위 정보를 통해 생산성을 획기적으로 높여줄 완벽한 도구를 찾아보세요. 지금 바로 살펴보고 AI의 힘을 경험해 보세요!
12 도구
xix.ai
의견 (0)
0/500
영화나 애니메이션과 같이 성공 여부가 중요한 제작물에서는 미묘한 감정적 절정을 포착하고 입모양을 완벽하게 동기화하는 것이 무엇보다 중요하지만, 기존의 AI 음성 더빙 기술은 종종 이러한 요구를 충족시키지 못합니다. 이러한 업계의 핵심 과제를 해결하기 위해 Tongyi Lab은 획기적인 영화급 다중 시나리오 다중 모달 더빙 모델인
시청각적 격차 해소: 매끄러운 싱크를 위한 4대 기둥 프레임워크
Fun-CineForge는 단순한 텍스트 음성 변환(TTS)에 의존하는 대신, 전문 더빙의 네 가지 핵심 요소를 완벽히 구현하도록 설계되었습니다:
립싱크: 합성된 음성이 화면 속 캐릭터의 입 모양과 탁월한 정밀도로 일치하도록 보장합니다.
감정 표현: 얼굴 표정과 문맥적 지시를 분석하여 목소리에 진정한 인간적인 감정을 불어넣습니다.
음성 일관성: 복잡한 다중 화자 대화 장면에서도 특정 캐릭터에 대해 안정적이고 식별 가능한 음성 정체성을 유지합니다.
시간 정렬: 화면에 등장하지 않거나 부분적으로 가려진 화자의 대사도 밀리초 단위의 정확도로 삽입할 수 있습니다.
핵심 혁신: 선구적인 "시간 모달리티(Time Modality)"와 고품질 데이터셋
Fun-CineForge의 기술적 도약은 독특한 "데이터 + 모델" 공동 설계 철학에서 비롯됩니다:
CineDub 고품질 데이터셋: Tongyi Lab은 자동화된 CineDub 데이터셋 구축 파이프라인도 오픈소스로 공개했습니다. 이 파이프라인은 사고 연쇄(chain-of-thought) 오류 수정 메커니즘을 활용하여 중국어 및 영어 텍스트의 전사 오류율을 약 1%~2%로 낮추고, 화자 식별 오류를 1.2%까지 대폭 줄였습니다.
4모달리티 융합 아키텍처: 이 모델은 "시간 모달리티"를 통합하여 시각적 입력(입 모양 및 표정), 텍스트(대화 및 감정적 맥락), 오디오(음성 참조)를 공동으로 모델링하는 선구적인 방식을 도입했습니다. 이러한 융합을 통해 얼굴이 보이지 않는 장면을 포함한 까다로운 장면에서도 정확한 동기화가 가능합니다.
입증된 우수성: 혁신적인 사실적인 다인물 대화 더빙
벤치마크 결과에 따르면 Fun-CineForge는 단어 오류율(WER/CER), 입술 동기화(LSE-C/D), 음성 유사도 등 주요 지표에서 DeepDubber-V1과 같은 기준 모델보다 현저히 우수한 성능을 보입니다. 특히 듀엣 및 다인 대화도 정밀하게 처리할 수 있는 업계 최초의 기능을 구현하여, 최대 30초 분량의 영상 클립에서도 뛰어난 견고성을 보여줍니다.
GitHub: https://github.com/FunAudioLLM/FunCineForge
HuggingFace: https://huggingface.co/FunAudioLLM/Fun-CineForge
ModelScope: https://www.modelscope.cn/models/FunAudioLLM/Fun-CineForge/
리눅스 재단에 6대 기술 거대기업이 1250만 달러를 지원해 AI 취약성 소음 문제 해결에 나서다
AI 자동화 도구가 생성한 저품질 보안 보고서의 홍수를 처리하기 위해, 앤트로픽(Anthropic), 아마존(AWS), 깃허브(GitHub), 구글(Google), 마이크로소프트(Microsoft), 오픈AI(OpenAI) 등 6대 주요 기술 기업은 리눅스 재단(Linux Foundation) 이니셔티브에 총 1,250만 달러의 자금을 공동으로 기부했습니다. 이 투자는 오픈 소스 소프트웨어(FOSS) 유지 관리자가 수동 선별의 부담에서 벗어나
![[[IMG_BASE64_PLACEHOLDER]] 머스크, 오픈AI를 자녀들에게 넘길 가능성 고려… 알트만 증언](https://img.xix.ai/uploads/04/6a036f6862beb.webp)
[[IMG_BASE64_PLACEHOLDER]] 머스크, 오픈AI를 자녀들에게 넘길 가능성 고려… 알트만 증언
오늘 아침, 오픈에이아이(OpenAI)의 샘 알트만(Sam Altman) 최고경영자(CEO)는 회사의 기업 구조에 이의를 제기한 전 공동 창업자 일론 머스크(Elon Musk)의 소송에 대응하기 위해 증언대에 섰습니다.머스크가 비영리 자선단체를 사적 이익을 추구하는 자회사로 전환하여 AI 기반 제품을 마케팅한 다른 창업자들이 “자선단체를 훔쳤다”고 주장한 것과 관련해 질문을 받자, 알트만은 뚜렷한 망설임으로 응답했습니다.“그런 프레임으로 받
2026년 최신 최고의 AI 보컬 데모 도구: 작곡가, 후크 제작자 및 다국어 콘텐츠 팀을 위한! XIX.AI는 엄격한 실전 테스트를 거친 강력한 혁신 도구의 최고 평점 목록을 선별했습니다. 여기서는 무료 대 유료 비교 데이터, 종합 순위, 그리고 필수 추천 옵션을 확인할 수 있어 작사 효율성을 높이고 창의적 잠재력을 발휘하는 데 도움이 됩니다. 지금 탐색하여 모든 콘텐츠 요구에 맞는 완벽한 도구를 발견하세요!
9 도구
xix.ai
2026년 중소기업을 위한 최신 최고 평점의 AI 경쟁 분석 도구! XIX.AI는 매주 엄격한 실제 테스트와 상세한 순위를 바탕으로 업데이트되는, 업계 판도를 바꿀 만큼 강력한 도구 모음을 엄선했습니다. 생산성을 높이고 경쟁 우위를 확보할 수 있는 ‘꼭 사용해 봐야 할’ 도구를 찾아보실 수 있도록, 무료 버전과 유료 버전의 포괄적인 비교 정보를 제공합니다. 지금 바로 살펴보고 여러분에게 딱 맞는 도구를 찾아보세요!
9 도구
xix.ai
2026년 최신 최고의 Photoshop AI 보정 도구: 이커머스 의류, 피부 클리닝, 색상 일관성을 위한! 이 상위 평가 큐레이션 목록은 글쓰기 효율성을 높이고 콘텐츠 제작을 간소화하며 완벽한 시각적 결과를 손쉽게 달성하는 데 도움이 되는 강력한 게임 체인저 솔루션을 특징으로 합니다. 각 도구는 매주 업데이트되는 랭킹을 통해 실제 테스트를 거쳤으며, 무료 대 유료 비교 세부 사항도 포함되어 있습니다. XIX.AI의 지원을 받아 AI 경쟁력을 발휘하고자 하는 모든 이들에게 필수 추천 가이드입니다. 지금 탐색하세요!
10 도구
xix.ai
2026년 최신 최고 평점을 받은 AI 프롬프트 라이브러리로, 모든 유형의 ChatGPT 워크플로우를 최적화하세요. XIX.AI는 최고의 성능을 보장하기 위해 엄격한 실전 테스트를 거친, 강력하고 획기적인 컬렉션을 엄선했습니다. 생산성을 높이고 AI의 잠재력을 최대한 발휘할 수 있는 필수 도구를 선택하는 데 도움이 되는 무료 vs 유료 상세 비교 정보와 전문가 순위를 확인해 보세요. 지금 바로 살펴보세요!
11 도구
xix.ai
2026년 최신 최고의 AI 퀴즈 빌더 플랫폼: 교사, 튜터 및 코호트 기반 학습 프로그램을 위한! XIX.AI는 실제 테스트를 거쳐 정확한 순위를 제공하는 강력한 게임 체인저 도구들의 최고 평점 목록을 선별했습니다. 이 필수 플랫폼은 모든 학습 시나리오에서 글쓰기 효율성을 높이고, 콘텐츠 제작을 간소화하며, 퀴즈 설계를 단순화하는 데 도움을 줍니다. 지금 탐색하여 교육에서 AI의 이점을 최대한 활용할 수 있는 완벽한 도구를 발견하세요!
13 도구
xix.ai
GitHub 팀을 위한 2026년 최신 최고의 AI 풀 리퀘스트 검토 도구가 XIX.AI에 소개되었습니다! 이 엄선된 최고 평점 목록은 모든 팀 워크플로우 전반에 걸쳐 리팩토링, 버그 수정, 보안 취약점 탐지를 효율화해 주는 획기적인 솔루션을 선보입니다. 무료와 유료 버전의 비교 분석은 물론, 실제 테스트 결과와 상세한 순위 정보를 통해 생산성을 획기적으로 높여줄 완벽한 도구를 찾아보세요. 지금 바로 살펴보고 AI의 힘을 경험해 보세요!
12 도구
xix.ai
