阿里巴巴旗下通一推出Fun-CineForge:开源AI模型实现电影级语音合成
3月16日,阿里巴巴通一实验室正式发布并开源了电影级、多场景语音合成多模态模型Fun-CineForge。该模型解决了AI配音中的核心挑战,包括口型同步不匹配、情感表达不足以及多个角色间声音特征不一致等问题,同时引入了一种高质量的数据集构建方法。

在技术层面,Fun-CineForge开创了“时序模态”的概念。与仅关注文本或视觉信息的传统模型不同,它通过精准的时间戳控制,确保语音合成在精确的时间区间内进行。即使在角色被遮挡、镜头频繁切换或面部模糊等复杂的电影场景中,该模型仍能保持高度的视听同步性并严格遵循指令。
配套的开源数据集构建管道CineDub是另一项关键创新。Tongyi Lab 利用大型语言模型的链式推理能力,将原始电影素材自动转换为结构化数据,大幅减少了人工标注的需求。该流程实现了约 1% 的词错误率和仅 1.20% 的说话人分割错误率,为大型模型提供了极具竞争力的训练基础。

Fun-CineForge 现已发布于 GitHub、HuggingFace 及 ModelScope 社区,支持长达 30 秒的视频片段推理。该模型不仅在单人独白场景中表现出色,还为双人对话及多方对话场景提供了专业级支持。这一突破标志着人工智能语音技术正从基础的客户服务和助手角色,向高标准的动画与电影后期制作领域迈进。
GitHub:https://github.com/FunAudioLLM/FunCineForge
HuggingFace:https://huggingface.co/FunAudioLLM/Fun-CineForge
ModelScope:https://www.modelscope.cn/models/FunAudioLLM/Fun-CineForge/
相关文章
美国股市触及历史里程碑,人工智能与航空航天巨头准备开启万亿美元时代
埃隆·马斯克、山姆·阿尔特曼和达里奥·阿莫迪,这三位科技领域的巨头,正推动其各自的企业迈向首次公开募股(IPO)。随着 SpaceX、OpenAI 和 Anthropic——这三家估值接近万亿美元的行业巨头——即将上市,2026 年被预测将成为美国历史上新股发行规模最大的一年。这一历史性的资本激增已引起全球金融界的关注,成为检验公共市场吸收如此大规模资金能力的关键压力测试。这些主要融资活动的同步启动预计将打破 2021 年创下的 1560 亿美元纪录。超级独角兽的资本博弈每家公司上市的路径
瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元
随着人工智能驱动的编码工具日益普及,瑞典初创公司 Lovable 已获一轮重大融资。该公司计划筹集 30 亿美元,其估值有望升至 132 亿美元——这是去年 12 月记录的 66 亿美元的两倍。预计 Menlo Ventures 将主导此次投资。Lovable 的吸引力源于其核心的“氛围编码”(vibe coding)技术,该技术通过消除对复杂编码技能的需求来简化软件开发。用户只需以自然语言描述其需求,系统即可自动生成应用程序。这种直观的方法吸引了个人开发者、设计师和小企业,并扩展至 Work
Google 测试 Remy AI 代理,以 Gemini 为重点转向用户控制
根据《商业内幕》的报道,谷歌正在测试 Remy,这是 Gemini 的一款全新 AI 个人代理工具。该工具旨在代表用户执行任务,从而简化专业工作流程和日常事务。目前,Remy 正在 Gemini 应用的内部员工专属版本中进行测试。该报告引用了一份内部文件以及对两位熟悉该项目的个人的采访。内部资料将 Remy 描述为“全天候个人代理”,将 Gemini 定位为能够代表用户行事的主动助手。接近该项目的消息人士证实,谷歌员工正在积极测试 Remy。谷歌发言人拒绝提供进一步评论。该报告未提及公开发布
相关专题推荐
评论 (1)
0/500
Just tried the demo and honestly blown away by how natural the lip-sync feels now! 😮 Always thought AI dubbing sounded a bit robotic, but this seems like a huge leap. Wonder if this will start being used in indie films or even gaming soon? The open-source move is pretty bold too—curious to see how other companies respond.
3月16日,阿里巴巴通一实验室正式发布并开源了电影级、多场景语音合成多模态模型Fun-CineForge。该模型解决了AI配音中的核心挑战,包括口型同步不匹配、情感表达不足以及多个角色间声音特征不一致等问题,同时引入了一种高质量的数据集构建方法。

在技术层面,Fun-CineForge开创了“时序模态”的概念。与仅关注文本或视觉信息的传统模型不同,它通过精准的时间戳控制,确保语音合成在精确的时间区间内进行。即使在角色被遮挡、镜头频繁切换或面部模糊等复杂的电影场景中,该模型仍能保持高度的视听同步性并严格遵循指令。
配套的开源数据集构建管道CineDub是另一项关键创新。Tongyi Lab 利用大型语言模型的链式推理能力,将原始电影素材自动转换为结构化数据,大幅减少了人工标注的需求。该流程实现了约 1% 的词错误率和仅 1.20% 的说话人分割错误率,为大型模型提供了极具竞争力的训练基础。

Fun-CineForge 现已发布于 GitHub、HuggingFace 及 ModelScope 社区,支持长达 30 秒的视频片段推理。该模型不仅在单人独白场景中表现出色,还为双人对话及多方对话场景提供了专业级支持。这一突破标志着人工智能语音技术正从基础的客户服务和助手角色,向高标准的动画与电影后期制作领域迈进。
GitHub:https://github.com/FunAudioLLM/FunCineForge
HuggingFace:https://huggingface.co/FunAudioLLM/Fun-CineForge
ModelScope:https://www.modelscope.cn/models/FunAudioLLM/Fun-CineForge/
美国股市触及历史里程碑,人工智能与航空航天巨头准备开启万亿美元时代
埃隆·马斯克、山姆·阿尔特曼和达里奥·阿莫迪,这三位科技领域的巨头,正推动其各自的企业迈向首次公开募股(IPO)。随着 SpaceX、OpenAI 和 Anthropic——这三家估值接近万亿美元的行业巨头——即将上市,2026 年被预测将成为美国历史上新股发行规模最大的一年。这一历史性的资本激增已引起全球金融界的关注,成为检验公共市场吸收如此大规模资金能力的关键压力测试。这些主要融资活动的同步启动预计将打破 2021 年创下的 1560 亿美元纪录。超级独角兽的资本博弈每家公司上市的路径
瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元
随着人工智能驱动的编码工具日益普及,瑞典初创公司 Lovable 已获一轮重大融资。该公司计划筹集 30 亿美元,其估值有望升至 132 亿美元——这是去年 12 月记录的 66 亿美元的两倍。预计 Menlo Ventures 将主导此次投资。Lovable 的吸引力源于其核心的“氛围编码”(vibe coding)技术,该技术通过消除对复杂编码技能的需求来简化软件开发。用户只需以自然语言描述其需求,系统即可自动生成应用程序。这种直观的方法吸引了个人开发者、设计师和小企业,并扩展至 Work
Just tried the demo and honestly blown away by how natural the lip-sync feels now! 😮 Always thought AI dubbing sounded a bit robotic, but this seems like a huge leap. Wonder if this will start being used in indie films or even gaming soon? The open-source move is pretty bold too—curious to see how other companies respond.





首页






