阿里巴巴旗下通一推出 Fun-CineForge:開源 AI 模型實現電影級語音合成
阿里巴巴同易實驗室於3月16日正式推出並開源了電影級、多場景語音合成多模態模型Fun-CineForge。該模型解決了AI配音中的核心挑戰,包括口型同步失準、情感表達不足,以及多個角色間聲音特徵不一致等問題。此外,該模型還引入了一種高品質的資料集建構方法。

在技術層面上,Fun-CineForge 開創了「時序模態」的概念。與僅專注於文字或視覺的傳統模型不同,它透過精準的時間戳控制,確保語音合成在精確的時間區間內進行。即使在角色被遮擋、鏡頭頻繁切換或臉部模糊等複雜的電影場景中,該模型仍能維持高度的影音同步性,並嚴格遵循指令。
隨附的開源CineDub資料集建構流程是另一項關鍵創新。Tongyi Lab 運用大型語言模型的「思維鏈推理」技術,將原始影片素材自動轉化為結構化資料,大幅減少了人工標註的需求。此流程實現了約 1% 的字元錯誤率與僅 1.20% 的發言人標定錯誤率,為大型模型提供了極具競爭力的訓練基礎。

Fun-CineForge 現已於 GitHub、HuggingFace 及 ModelScope 社群上線,支援長達 30 秒的影片片段推論。該模型不僅在單人獨白表現出色,更能為雙人對白及多方對話場景提供專業級支援。這項突破標誌著 AI 語音技術正從基礎的客戶服務與助理角色,邁向高標準的動畫與電影後期製作領域。
GitHub:https://github.com/FunAudioLLM/FunCineForge
HuggingFace:https://huggingface.co/FunAudioLLM/Fun-CineForge
ModelScope:https://www.modelscope.cn/models/FunAudioLLM/Fun-CineForge/
相關文章
美國股市觸及歷史裡程碑,人工智慧與航空航天巨頭準備開啟萬億美元時代
埃隆·馬斯克、山姆·阿爾特曼和達里奧·阿莫迪,這三位科技領域的巨頭,正推動其各自的企業邁向首次公開募股(IPO)。隨著 SpaceX、OpenAI 和 Anthropic——這三家估值接近萬億美元的行業巨頭——即將上市,2026 年被預測將成為美國曆史上新股發行規模最大的一年。這一歷史性的資本激增已引起全球金融界的關注,成為檢驗公共市場吸收如此大規模資金能力的關鍵壓力測試。這些主要融資活動的同步啟動預計將打破 2021 年創下的 1560 億美元紀錄。超級獨角獸的資本博弈每家公司上市的路徑
瑞典人工智慧初創公司Lovable Eyes在完成主要融資輪後估值達132億美元
隨著人工智慧驅動的編碼工具日益普及,瑞典初創公司 Lovable 已獲一輪重大融資。該公司計劃籌集 30 億美元,其估值有望升至 132 億美元——這是去年 12 月記錄的 66 億美元的兩倍。預計 Menlo Ventures 將主導此次投資。Lovable 的吸引力源於其核心的“氛圍編碼”(vibe coding)技術,該技術透過消除對複雜編碼技能的需求來簡化軟體開發。使用者只需以自然語言描述其需求,系統即可自動生成應用程式。這種直觀的方法吸引了個人開發者、設計師和小企業,並擴充套件至 Work
Google 測試 Remy AI 代理,以 Gemini 為重點轉向使用者控制
根據《商業內幕》的報道,谷歌正在測試 Remy,這是 Gemini 的一款全新 AI 個人代理工具。該工具旨在代表使用者執行任務,從而簡化專業工作流程和日常事務。目前,Remy 正在 Gemini 應用的內部員工專屬版本中進行測試。該報告引用了一份內部檔案以及對兩位熟悉該專案的個人的採訪。內部資料將 Remy 描述為“全天候個人代理”,將 Gemini 定位為能夠代表使用者行事的主動助手。接近該專案的訊息人士證實,谷歌員工正在積極測試 Remy。谷歌發言人拒絕提供進一步評論。該報告未提及公開發布
相關專題推薦
評論 (1)
0/500
Just tried the demo and honestly blown away by how natural the lip-sync feels now! 😮 Always thought AI dubbing sounded a bit robotic, but this seems like a huge leap. Wonder if this will start being used in indie films or even gaming soon? The open-source move is pretty bold too—curious to see how other companies respond.
阿里巴巴同易實驗室於3月16日正式推出並開源了電影級、多場景語音合成多模態模型Fun-CineForge。該模型解決了AI配音中的核心挑戰,包括口型同步失準、情感表達不足,以及多個角色間聲音特徵不一致等問題。此外,該模型還引入了一種高品質的資料集建構方法。

在技術層面上,Fun-CineForge 開創了「時序模態」的概念。與僅專注於文字或視覺的傳統模型不同,它透過精準的時間戳控制,確保語音合成在精確的時間區間內進行。即使在角色被遮擋、鏡頭頻繁切換或臉部模糊等複雜的電影場景中,該模型仍能維持高度的影音同步性,並嚴格遵循指令。
隨附的開源CineDub資料集建構流程是另一項關鍵創新。Tongyi Lab 運用大型語言模型的「思維鏈推理」技術,將原始影片素材自動轉化為結構化資料,大幅減少了人工標註的需求。此流程實現了約 1% 的字元錯誤率與僅 1.20% 的發言人標定錯誤率,為大型模型提供了極具競爭力的訓練基礎。

Fun-CineForge 現已於 GitHub、HuggingFace 及 ModelScope 社群上線,支援長達 30 秒的影片片段推論。該模型不僅在單人獨白表現出色,更能為雙人對白及多方對話場景提供專業級支援。這項突破標誌著 AI 語音技術正從基礎的客戶服務與助理角色,邁向高標準的動畫與電影後期製作領域。
GitHub:https://github.com/FunAudioLLM/FunCineForge
HuggingFace:https://huggingface.co/FunAudioLLM/Fun-CineForge
ModelScope:https://www.modelscope.cn/models/FunAudioLLM/Fun-CineForge/
美國股市觸及歷史裡程碑,人工智慧與航空航天巨頭準備開啟萬億美元時代
埃隆·馬斯克、山姆·阿爾特曼和達里奧·阿莫迪,這三位科技領域的巨頭,正推動其各自的企業邁向首次公開募股(IPO)。隨著 SpaceX、OpenAI 和 Anthropic——這三家估值接近萬億美元的行業巨頭——即將上市,2026 年被預測將成為美國曆史上新股發行規模最大的一年。這一歷史性的資本激增已引起全球金融界的關注,成為檢驗公共市場吸收如此大規模資金能力的關鍵壓力測試。這些主要融資活動的同步啟動預計將打破 2021 年創下的 1560 億美元紀錄。超級獨角獸的資本博弈每家公司上市的路徑
瑞典人工智慧初創公司Lovable Eyes在完成主要融資輪後估值達132億美元
隨著人工智慧驅動的編碼工具日益普及,瑞典初創公司 Lovable 已獲一輪重大融資。該公司計劃籌集 30 億美元,其估值有望升至 132 億美元——這是去年 12 月記錄的 66 億美元的兩倍。預計 Menlo Ventures 將主導此次投資。Lovable 的吸引力源於其核心的“氛圍編碼”(vibe coding)技術,該技術透過消除對複雜編碼技能的需求來簡化軟體開發。使用者只需以自然語言描述其需求,系統即可自動生成應用程式。這種直觀的方法吸引了個人開發者、設計師和小企業,並擴充套件至 Work
Just tried the demo and honestly blown away by how natural the lip-sync feels now! 😮 Always thought AI dubbing sounded a bit robotic, but this seems like a huge leap. Wonder if this will start being used in indie films or even gaming soon? The open-source move is pretty bold too—curious to see how other companies respond.





首頁






