阿里巴巴旗下阿里雲推出 Fun-CineForge:開源電影級配音模型與資料集
近日,由阿里巴巴通義實驗室語音團隊與中國科學技術大學合作開發的Fun-CineForge專案已正式開源。該專案透過引入全面的端到端製作工作流程及大型模型解決方案,致力解決影視配音領域的核心挑戰,例如口型同步、語音風格轉移及情感表達等。

核心突破:解決影視配音中的「口型不對」問題
傳統的 AI 配音技術常面臨唇形不對、情感表達生硬,以及難以適應包含對話與多人聲學的複雜電影場景等問題。Fun-CineForge透過兩項關鍵創新實現了重大突破:
MLLM 配音模型:超越單純的唇部區域音視對齊,採用多模態大型語言模型(MLLM)架構,能深度理解角色身份及場景中的情感細微差異。
CineDub 大規模資料集:本專案透過自動化流程,建置了首個標註詳盡的中文電視劇配音資料集,涵蓋獨白、旁白、對白及多方對話等多元情境。
專案更新與開源路線圖
本專案近期更新頻繁,顯示其工程成熟度已達高水準:
2026年1月至3月:發布了中文(CineDub-CN)與英文(CineDub-EN)的樣本資料集及示範程式。
2026年3月16日:正式將推論程式碼與模型權重(Checkpoints)開源,開發者可透過 GitHub 取得這些資源。
資料集存取:現已開放數個經典影集資料集供研究使用,包含中文影集《紅樓夢》與英文影集《唐頓莊園》。
技術應用:從「對白」到「表演」
官方示範顯示,該模型在重製《三國演義》等經典影集時展現了令人驚豔的成果。透過輸入特定的「情感線索」,模型能精準捕捉角色情緒的轉變——從恐懼到反抗——實現高保真度的聲音複製與自然的唇形同步。
Fun-CineForge的推出標誌著影視 AI 配音技術正從基礎的「文字轉語音」轉向具備藝術理解能力的「自動化後期製作」工具。這項進展有望大幅降低配音影視內容的製作成本。
專案:https://funcineforge.github.io/
相關文章
位元組跳動旗下 Seed 啟動全球校園招聘,以虛擬股份爭奪頂尖大模型人才
在大型語言模型的競爭格局中,爭奪頂尖人才仍然是最關鍵的戰略資產。4月1日,位元組跳動宣佈啟動Seed全球校園招聘計劃,作為其大模型人才培養專案的一部分。該活動面向2027屆畢業生及現有實習生,旨在全球範圍內發掘並鎖定AI領域的精英研發與工程人才。規模擴張:全球甄選100名“AI種子”在技術快速進步的背景下,位元組跳動有限公司今年大幅增加了對基礎AI人才的投入:招聘範圍: 該計劃旨在從全球範圍內招聘約100名專注於大模型的傑出候選人,物件為2027屆畢業生。發展路徑: Seed計劃將核心
Suno 在法律訴訟中為歌曲新增水印
Suno,這個允許使用者生成由人工智慧創作的音樂的平臺,近日推出了新功能,包括為平臺製作的曲目新增標籤、限制下載,並更新社羣標準以遏制未經授權的複製品。這些更新是在Suno面臨多家唱片公司和藝術家組織提起的多起訴訟之際推出的。在部落格文章中,聯合創始人兼執行長Mikey Shulman概述了核心原則,強調該平臺旨在促進原創創作,同時擴大更廣泛受眾對人工智慧音樂工具的訪問許可權。一個主要的爭議點在於,使用者將人工智慧生成的歌曲上傳到其他流媒體服務並透過操縱系統獲取收入。Suno表示,現在將採用音訊
馬斯克承認 Grok 構建過程中洩露了使用者程式碼,並承諾清除所有歷史資料
埃隆·馬斯克直接回應了圍繞 Grok Build 的隱私爭議,首先以簡單的“True”(屬實)確認了該事件的有效性。他承諾,此前上傳至 SpaceXAI 的所有使用者資料將被永久刪除,並表示“不留一個位元組”。這是人工智慧行業首次由主要科技領袖公開承認錯誤並主動刪除使用者資料。安全研究人員的“釣魚”測試揭示了資料洩露的具體證據此次爭議源於獨立人工智慧安全研究人員 @cereblab 的一份報告。SpaceXAI 推出的 AI 程式設計助手 Grok Build 在其官方網站上聲稱其“優先本地執行,程式碼
相關專題推薦
評論 (0)
0/500
近日,由阿里巴巴通義實驗室語音團隊與中國科學技術大學合作開發的Fun-CineForge專案已正式開源。該專案透過引入全面的端到端製作工作流程及大型模型解決方案,致力解決影視配音領域的核心挑戰,例如口型同步、語音風格轉移及情感表達等。

核心突破:解決影視配音中的「口型不對」問題
傳統的 AI 配音技術常面臨唇形不對、情感表達生硬,以及難以適應包含對話與多人聲學的複雜電影場景等問題。Fun-CineForge透過兩項關鍵創新實現了重大突破:
MLLM 配音模型:超越單純的唇部區域音視對齊,採用多模態大型語言模型(MLLM)架構,能深度理解角色身份及場景中的情感細微差異。
CineDub 大規模資料集:本專案透過自動化流程,建置了首個標註詳盡的中文電視劇配音資料集,涵蓋獨白、旁白、對白及多方對話等多元情境。
專案更新與開源路線圖
本專案近期更新頻繁,顯示其工程成熟度已達高水準:
2026年1月至3月:發布了中文(CineDub-CN)與英文(CineDub-EN)的樣本資料集及示範程式。
2026年3月16日:正式將推論程式碼與模型權重(Checkpoints)開源,開發者可透過 GitHub 取得這些資源。
資料集存取:現已開放數個經典影集資料集供研究使用,包含中文影集《紅樓夢》與英文影集《唐頓莊園》。
技術應用:從「對白」到「表演」
官方示範顯示,該模型在重製《三國演義》等經典影集時展現了令人驚豔的成果。透過輸入特定的「情感線索」,模型能精準捕捉角色情緒的轉變——從恐懼到反抗——實現高保真度的聲音複製與自然的唇形同步。
Fun-CineForge的推出標誌著影視 AI 配音技術正從基礎的「文字轉語音」轉向具備藝術理解能力的「自動化後期製作」工具。這項進展有望大幅降低配音影視內容的製作成本。
專案:https://funcineforge.github.io/
位元組跳動旗下 Seed 啟動全球校園招聘,以虛擬股份爭奪頂尖大模型人才
在大型語言模型的競爭格局中,爭奪頂尖人才仍然是最關鍵的戰略資產。4月1日,位元組跳動宣佈啟動Seed全球校園招聘計劃,作為其大模型人才培養專案的一部分。該活動面向2027屆畢業生及現有實習生,旨在全球範圍內發掘並鎖定AI領域的精英研發與工程人才。規模擴張:全球甄選100名“AI種子”在技術快速進步的背景下,位元組跳動有限公司今年大幅增加了對基礎AI人才的投入:招聘範圍: 該計劃旨在從全球範圍內招聘約100名專注於大模型的傑出候選人,物件為2027屆畢業生。發展路徑: Seed計劃將核心
Suno 在法律訴訟中為歌曲新增水印
Suno,這個允許使用者生成由人工智慧創作的音樂的平臺,近日推出了新功能,包括為平臺製作的曲目新增標籤、限制下載,並更新社羣標準以遏制未經授權的複製品。這些更新是在Suno面臨多家唱片公司和藝術家組織提起的多起訴訟之際推出的。在部落格文章中,聯合創始人兼執行長Mikey Shulman概述了核心原則,強調該平臺旨在促進原創創作,同時擴大更廣泛受眾對人工智慧音樂工具的訪問許可權。一個主要的爭議點在於,使用者將人工智慧生成的歌曲上傳到其他流媒體服務並透過操縱系統獲取收入。Suno表示,現在將採用音訊
馬斯克承認 Grok 構建過程中洩露了使用者程式碼,並承諾清除所有歷史資料
埃隆·馬斯克直接回應了圍繞 Grok Build 的隱私爭議,首先以簡單的“True”(屬實)確認了該事件的有效性。他承諾,此前上傳至 SpaceXAI 的所有使用者資料將被永久刪除,並表示“不留一個位元組”。這是人工智慧行業首次由主要科技領袖公開承認錯誤並主動刪除使用者資料。安全研究人員的“釣魚”測試揭示了資料洩露的具體證據此次爭議源於獨立人工智慧安全研究人員 @cereblab 的一份報告。SpaceXAI 推出的 AI 程式設計助手 Grok Build 在其官方網站上聲稱其“優先本地執行,程式碼





首頁






