選項
首頁
新聞
阿里巴巴的通一實驗室將 Fun-CineForge 開源,解決多發言人配音的難題

阿里巴巴的通一實驗室將 Fun-CineForge 開源,解決多發言人配音的難題

2026-03-22
173

在電影和動畫等高規格製作中,傳統的 AI 配音技術往往難以勝任,因為精準捕捉細膩的情感高潮與完美同步的嘴型動畫至關重要。為解決這一核心產業挑戰,同益實驗室正式推出並開源了這款開創性的電影級多場景多模態配音模型——Fun-CineForge

彌合視聽鴻溝:實現無縫同步的四大支柱框架

Fun-CineForge 並非僅依賴基礎的文字轉語音技術,而是專為掌握專業配音的四大關鍵維度而設計:

口型同步:確保合成語音與螢幕角色嘴型動作以極高精度對齊。

情感表達:透過分析面部線索與情境指令,為聲音注入真實的人類情感。

聲音一致性:在複雜的多角色對話場景中,為特定角色維持穩定且可辨識的聲音特徵。

時間對齊:即使發言者不在畫面中或部分被遮擋,也能以毫秒級精準度插入對白。

核心創新:開創性的「時間模態」與高保真資料集

Fun-CineForge 的技術飛躍源自其獨特的「數據+模型」協同設計哲學:

QQ20260316-152310.jpg

CineDub 高品質資料集:同益實驗室亦已開源自動化的 CineDub 資料集建構管線。透過「思維鏈」錯誤修正機制,將中英文文字的轉錄錯誤率降低至約 1% 至 2%,並將發言人標定錯誤率大幅削減至低至 1.2%

四模態融合架構:該模型首創整合「時間模態」,共同建模視覺輸入(唇形與表情)、文字(對白與情感語境)及音訊(語音參考)。此融合技術能在具挑戰性的場景中實現精準同步,包括沒有可見臉部的場景。

卓越表現:開創真實的多角色對話配音

基準測試結果顯示,Fun-CineForge 在關鍵指標上(包括單字錯誤率(WER/CER)、唇形同步(LSE-C/D)及聲音相似度)均大幅超越 DeepDubber-V1 等基準模型。其里程碑式的成就在於首創精準處理二重唱與多人對話的能力,並在長達 30 秒的影片片段中展現出卓越的穩健性。

GitHub:https://github.com/FunAudioLLM/FunCineForge

HuggingFace:https://huggingface.co/FunAudioLLM/Fun-CineForge

ModelScope:https://www.modelscope.cn/models/FunAudioLLM/Fun-CineForge/

相關文章
如何修復核心網頁指標以獲得更好的 SEO 排名 如何修復核心網頁指標以獲得更好的 SEO 排名 利用 AI 工具簡化成績單評語撰寫引言用於生成成績單評語的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成績單評語登入 Magic School選擇成績單評語工具為學生定製評語使用 Almanac AI 生成成績單評語設定課程與評分方案配置評語長度與學生資訊使用 Almanac AI 生成評語比較 Magic School 與 Almanac AI設定的便捷性可定製性與課程內容的整合速度與效率使用
Slackbot 成為 AI 智慧體 Slackbot 成為 AI 智慧體 Slackbot,嵌入在Salesforce企業訊息平臺Slack中的自動化助手,正在演變為一個AI智慧體。Salesforce技術長Parker Harris設想它將達到與OpenAI的ChatGPT相媲美的病毒式傳播地位。這家雲軟體巨頭於週二推出了更新版的Slackbot。該新版AI驅動版本面向Business+和Enterprise+客戶,可直接在Slack內查詢資訊、起草電子郵件和安排會議。在獲得適當許可權的情況下,它還能與Microsoft Teams和Google Drive等企
位元組跳動加大核心AI激勵,豆包增長14.6% 位元組跳動加大核心AI激勵,豆包增長14.6% 位元組跳動近日召開豆包股權說明會,公佈面向豆包部門員工的最新激勵政策。豆包股票的行權價已從2026年6月的14.85美元上調至17.02美元,漲幅約為14.6%。此次調整不僅提升了豆包股票的估值,還大幅擴大了其覆蓋範圍。根據員工崗位的不同,部分員工可能獲得相當於其總薪酬約5%的豆包股票。根據新的兌換機制,位元組跳動允許員工在整體薪酬包中,將部分現金工資兌換為豆包股權。兌換比例因職級而異,設有20%和30%等不同檔位。例如,L2和L3級員工可選擇20%的全覆蓋兌換比例,而L3和L4級員工的該比例可
相關專題推薦
寫作 最適合撰寫長篇 SEO 文章的 AI 大綱生成工具
最適合撰寫長篇 SEO 文章的 AI 大綱生成工具

2026 年最新最佳、評價最高的 AI 大綱生成器,專為長篇 SEO 文章打造,由 XIX.AI 精心精選。這些強大的工具能為快速創作高品質內容提供革命性的協助,大幅提升寫作效率。 透過免費版與付費版的比較、實際測試結果及詳細排名,協助您找出最符合需求且不容錯過的選項。立即探索,釋放您的 AI 優勢。

8 個工具
xix.ai
教育與學習 適用於作業與考試準備的人工智慧學習工具
適用於作業與考試準備的人工智慧學習工具

2026 年最新最佳 AI 學習工具,助您完成作業與備考!XIX.AI 精心整理了一份備受好評的清單,收錄了這些強大且具革命性、經實測驗證的工具,能幫助學生提升效率、簡化作業流程,並在考試中取得優異成績。 獲取免費版與付費版的比較、詳細排名,以及必試選項,以釋放您的 AI 優勢。立即探索!

10 個工具
xix.ai
音樂創作 面向詞曲創作者、旋律片段、主旋律及多語言草稿創作的AI人聲演示工具
面向詞曲創作者、旋律片段、主旋律及多語言草稿創作的AI人聲演示工具

2026 年最新最佳 AI 人聲演示工具,專為詞曲創作者、旋律創作者和多語言內容團隊打造!XIX.AI 精心整理了一份經過嚴格真實世界測試的高評分、變革性工具列表。您將找到詳細的免費與付費對比資料、全面排名以及必試選項,幫助您提升創作效率並釋放創意潛力。立即探索,發現滿足您所有內容需求的完美工具!

9 個工具
xix.ai
商業 最適合小型企業的頂尖 AI 競爭情勢分析工具
最適合小型企業的頂尖 AI 競爭情勢分析工具

2026 年最新、最佳且評價最高的中小企業 AI 競爭研究工具!XIX.AI 精心精選了一系列極具威力且能改變遊戲規則的工具,並透過嚴謹的實測與詳細排名,每週更新內容。您可在此找到詳盡的免費版與付費版比較,協助您找出必試的工具,以提升工作效率並獲得競爭優勢。 立即探索,找出最適合您的工具!

9 個工具
xix.ai
圖像編輯 用於電商服裝、皮膚清潔和色彩一致性的 Photoshop AI 修圖工具
用於電商服裝、皮膚清潔和色彩一致性的 Photoshop AI 修圖工具

2026 年最新最佳 Photoshop AI 修圖工具,適用於電商服裝、皮膚清潔和色彩一致性!這份頂級精選列表包含強大的變革性解決方案,可幫助您提升寫作效率、簡化內容創作並輕鬆實現完美的視覺效果。每個工具都經過實際測試,並透過每週更新的排名進行驗證,同時提供免費與付費版本的詳細對比。由 XIX.AI 支援,這是任何希望發揮 AI 優勢的人必試指南。立即探索!

10 個工具
xix.ai
迅速的 適用於 ChatGPT 工作流程的最佳 AI 提示詞庫
適用於 ChatGPT 工作流程的最佳 AI 提示詞庫

2026 年最新、最受好評的 AI 提示詞庫,可優化各類 ChatGPT 工作流程。XIX.AI 精心蒐羅了一套強大且具革命性的精選集合,並經過嚴格的實際測試,以確保其表現卓越。 您可查閱詳盡的免費版與付費版比較分析,以及專家評比,助您挑選必試工具,從而提升工作效率並釋放您的 AI 優勢。立即探索!

11 個工具
xix.ai
評論 (0)
0/500
OR