阿里巴巴的通一實驗室將 Fun-CineForge 開源,解決多發言人配音的難題
在電影和動畫等高規格製作中,傳統的 AI 配音技術往往難以勝任,因為精準捕捉細膩的情感高潮與完美同步的嘴型動畫至關重要。為解決這一核心產業挑戰,同益實驗室正式推出並開源了這款開創性的電影級多場景多模態配音模型——Fun-CineForge 。
彌合視聽鴻溝:實現無縫同步的四大支柱框架
Fun-CineForge 並非僅依賴基礎的文字轉語音技術,而是專為掌握專業配音的四大關鍵維度而設計:
口型同步:確保合成語音與螢幕角色嘴型動作以極高精度對齊。
情感表達:透過分析面部線索與情境指令,為聲音注入真實的人類情感。
聲音一致性:在複雜的多角色對話場景中,為特定角色維持穩定且可辨識的聲音特徵。
時間對齊:即使發言者不在畫面中或部分被遮擋,也能以毫秒級精準度插入對白。
核心創新:開創性的「時間模態」與高保真資料集
Fun-CineForge 的技術飛躍源自其獨特的「數據+模型」協同設計哲學:

CineDub 高品質資料集:同益實驗室亦已開源自動化的 CineDub 資料集建構管線。透過「思維鏈」錯誤修正機制,將中英文文字的轉錄錯誤率降低至約 1% 至 2%,並將發言人標定錯誤率大幅削減至低至 1.2%。
四模態融合架構:該模型首創整合「時間模態」,共同建模視覺輸入(唇形與表情)、文字(對白與情感語境)及音訊(語音參考)。此融合技術能在具挑戰性的場景中實現精準同步,包括沒有可見臉部的場景。
卓越表現:開創真實的多角色對話配音
基準測試結果顯示,Fun-CineForge 在關鍵指標上(包括單字錯誤率(WER/CER)、唇形同步(LSE-C/D)及聲音相似度)均大幅超越 DeepDubber-V1 等基準模型。其里程碑式的成就在於首創精準處理二重唱與多人對話的能力,並在長達 30 秒的影片片段中展現出卓越的穩健性。
GitHub:https://github.com/FunAudioLLM/FunCineForge
HuggingFace:https://huggingface.co/FunAudioLLM/Fun-CineForge
ModelScope:https://www.modelscope.cn/models/FunAudioLLM/Fun-CineForge/
相關文章
如何修復核心網頁指標以獲得更好的 SEO 排名
利用 AI 工具簡化成績單評語撰寫引言用於生成成績單評語的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成績單評語登入 Magic School選擇成績單評語工具為學生定製評語使用 Almanac AI 生成成績單評語設定課程與評分方案配置評語長度與學生資訊使用 Almanac AI 生成評語比較 Magic School 與 Almanac AI設定的便捷性可定製性與課程內容的整合速度與效率使用
Slackbot 成為 AI 智慧體
Slackbot,嵌入在Salesforce企業訊息平臺Slack中的自動化助手,正在演變為一個AI智慧體。Salesforce技術長Parker Harris設想它將達到與OpenAI的ChatGPT相媲美的病毒式傳播地位。這家雲軟體巨頭於週二推出了更新版的Slackbot。該新版AI驅動版本面向Business+和Enterprise+客戶,可直接在Slack內查詢資訊、起草電子郵件和安排會議。在獲得適當許可權的情況下,它還能與Microsoft Teams和Google Drive等企
位元組跳動加大核心AI激勵,豆包增長14.6%
位元組跳動近日召開豆包股權說明會,公佈面向豆包部門員工的最新激勵政策。豆包股票的行權價已從2026年6月的14.85美元上調至17.02美元,漲幅約為14.6%。此次調整不僅提升了豆包股票的估值,還大幅擴大了其覆蓋範圍。根據員工崗位的不同,部分員工可能獲得相當於其總薪酬約5%的豆包股票。根據新的兌換機制,位元組跳動允許員工在整體薪酬包中,將部分現金工資兌換為豆包股權。兌換比例因職級而異,設有20%和30%等不同檔位。例如,L2和L3級員工可選擇20%的全覆蓋兌換比例,而L3和L4級員工的該比例可
相關專題推薦
評論 (0)
0/500
在電影和動畫等高規格製作中,傳統的 AI 配音技術往往難以勝任,因為精準捕捉細膩的情感高潮與完美同步的嘴型動畫至關重要。為解決這一核心產業挑戰,同益實驗室正式推出並開源了這款開創性的電影級多場景多模態配音模型——
彌合視聽鴻溝:實現無縫同步的四大支柱框架
Fun-CineForge 並非僅依賴基礎的文字轉語音技術,而是專為掌握專業配音的四大關鍵維度而設計:
口型同步:確保合成語音與螢幕角色嘴型動作以極高精度對齊。
情感表達:透過分析面部線索與情境指令,為聲音注入真實的人類情感。
聲音一致性:在複雜的多角色對話場景中,為特定角色維持穩定且可辨識的聲音特徵。
時間對齊:即使發言者不在畫面中或部分被遮擋,也能以毫秒級精準度插入對白。
核心創新:開創性的「時間模態」與高保真資料集
Fun-CineForge 的技術飛躍源自其獨特的「數據+模型」協同設計哲學:

CineDub 高品質資料集:同益實驗室亦已開源自動化的 CineDub 資料集建構管線。透過「思維鏈」錯誤修正機制,將中英文文字的轉錄錯誤率降低至約 1% 至 2%,並將發言人標定錯誤率大幅削減至低至 1.2%。
四模態融合架構:該模型首創整合「時間模態」,共同建模視覺輸入(唇形與表情)、文字(對白與情感語境)及音訊(語音參考)。此融合技術能在具挑戰性的場景中實現精準同步,包括沒有可見臉部的場景。
卓越表現:開創真實的多角色對話配音
基準測試結果顯示,Fun-CineForge 在關鍵指標上(包括單字錯誤率(WER/CER)、唇形同步(LSE-C/D)及聲音相似度)均大幅超越 DeepDubber-V1 等基準模型。其里程碑式的成就在於首創精準處理二重唱與多人對話的能力,並在長達 30 秒的影片片段中展現出卓越的穩健性。
GitHub:https://github.com/FunAudioLLM/FunCineForge
HuggingFace:https://huggingface.co/FunAudioLLM/Fun-CineForge
ModelScope:https://www.modelscope.cn/models/FunAudioLLM/Fun-CineForge/
如何修復核心網頁指標以獲得更好的 SEO 排名
利用 AI 工具簡化成績單評語撰寫引言用於生成成績單評語的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成績單評語登入 Magic School選擇成績單評語工具為學生定製評語使用 Almanac AI 生成成績單評語設定課程與評分方案配置評語長度與學生資訊使用 Almanac AI 生成評語比較 Magic School 與 Almanac AI設定的便捷性可定製性與課程內容的整合速度與效率使用
Slackbot 成為 AI 智慧體
Slackbot,嵌入在Salesforce企業訊息平臺Slack中的自動化助手,正在演變為一個AI智慧體。Salesforce技術長Parker Harris設想它將達到與OpenAI的ChatGPT相媲美的病毒式傳播地位。這家雲軟體巨頭於週二推出了更新版的Slackbot。該新版AI驅動版本面向Business+和Enterprise+客戶,可直接在Slack內查詢資訊、起草電子郵件和安排會議。在獲得適當許可權的情況下,它還能與Microsoft Teams和Google Drive等企
位元組跳動加大核心AI激勵,豆包增長14.6%
位元組跳動近日召開豆包股權說明會,公佈面向豆包部門員工的最新激勵政策。豆包股票的行權價已從2026年6月的14.85美元上調至17.02美元,漲幅約為14.6%。此次調整不僅提升了豆包股票的估值,還大幅擴大了其覆蓋範圍。根據員工崗位的不同,部分員工可能獲得相當於其總薪酬約5%的豆包股票。根據新的兌換機制,位元組跳動允許員工在整體薪酬包中,將部分現金工資兌換為豆包股權。兌換比例因職級而異,設有20%和30%等不同檔位。例如,L2和L3級員工可選擇20%的全覆蓋兌換比例,而L3和L4級員工的該比例可





首頁






