阿里巴巴旗下阿里云发布Fun-CineForge:开源电影级配音模型及数据集
近日,由阿里巴巴通意实验室语音团队与中国科学技术大学合作开发的Fun-CineForge项目已正式开源。该项目通过引入全面的端到端制作工作流和大型模型解决方案,致力于解决影视配音中的核心挑战,例如口型同步、语音风格迁移和情感表达。

核心突破:解决影视配音中的“对口型”难题
传统AI配音常面临口型不匹配、情感表达生硬,以及难以适应涉及对话和多人声场的复杂电影场景等问题。Fun-CineForge通过两项关键创新实现了重大突破:
MLLM配音模型:超越简单的唇部区域音视频对齐,采用多模态大型语言模型(MLLM)架构,能够深度理解角色身份及场景中的情感细微差别。
CineDub大规模数据集:该项目通过自动化管道创建了首个标注详尽的中文电视剧配音数据集,涵盖独白、旁白、对话及多方对话等丰富场景。
项目进展与开源路线图
该项目近期更新频繁,表明其工程成熟度较高:
2026年1月至3月:发布了中文(CineDub-CN)和英语(CineDub-EN)的样本数据集及演示程序。
2026年3月16日:正式开源推理代码和模型权重(Checkpoints),开发者可在GitHub上获取这些资源。
数据集访问:现已开放多个经典剧集数据集供研究使用,包括中文剧集《红楼梦》和英文剧集《唐顿庄园》。
技术应用:从“对话”到“表演”
官方演示显示,该模型在重制《三国演义》等经典剧集时表现出色。通过输入特定的“情感线索”,模型能够精准捕捉角色情绪的转变——从恐惧到反抗——实现高保真的声音克隆和自然的唇形同步。
Fun-CineForge的推出标志着影视AI配音技术正从基础的“文本转语音”向具备艺术理解能力的“自动化后期制作”工具转变。这一进步有望大幅降低影视配音内容的制作成本。
项目:https://funcineforge.github.io/
相关文章
美国股市触及历史里程碑,人工智能与航空航天巨头准备开启万亿美元时代
埃隆·马斯克、山姆·阿尔特曼和达里奥·阿莫迪,这三位科技领域的巨头,正推动其各自的企业迈向首次公开募股(IPO)。随着 SpaceX、OpenAI 和 Anthropic——这三家估值接近万亿美元的行业巨头——即将上市,2026 年被预测将成为美国历史上新股发行规模最大的一年。这一历史性的资本激增已引起全球金融界的关注,成为检验公共市场吸收如此大规模资金能力的关键压力测试。这些主要融资活动的同步启动预计将打破 2021 年创下的 1560 亿美元纪录。超级独角兽的资本博弈每家公司上市的路径
瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元
随着人工智能驱动的编码工具日益普及,瑞典初创公司 Lovable 已获一轮重大融资。该公司计划筹集 30 亿美元,其估值有望升至 132 亿美元——这是去年 12 月记录的 66 亿美元的两倍。预计 Menlo Ventures 将主导此次投资。Lovable 的吸引力源于其核心的“氛围编码”(vibe coding)技术,该技术通过消除对复杂编码技能的需求来简化软件开发。用户只需以自然语言描述其需求,系统即可自动生成应用程序。这种直观的方法吸引了个人开发者、设计师和小企业,并扩展至 Work
Google 测试 Remy AI 代理,以 Gemini 为重点转向用户控制
根据《商业内幕》的报道,谷歌正在测试 Remy,这是 Gemini 的一款全新 AI 个人代理工具。该工具旨在代表用户执行任务,从而简化专业工作流程和日常事务。目前,Remy 正在 Gemini 应用的内部员工专属版本中进行测试。该报告引用了一份内部文件以及对两位熟悉该项目的个人的采访。内部资料将 Remy 描述为“全天候个人代理”,将 Gemini 定位为能够代表用户行事的主动助手。接近该项目的消息人士证实,谷歌员工正在积极测试 Remy。谷歌发言人拒绝提供进一步评论。该报告未提及公开发布
相关专题推荐
评论 (0)
0/500
近日,由阿里巴巴通意实验室语音团队与中国科学技术大学合作开发的Fun-CineForge项目已正式开源。该项目通过引入全面的端到端制作工作流和大型模型解决方案,致力于解决影视配音中的核心挑战,例如口型同步、语音风格迁移和情感表达。

核心突破:解决影视配音中的“对口型”难题
传统AI配音常面临口型不匹配、情感表达生硬,以及难以适应涉及对话和多人声场的复杂电影场景等问题。Fun-CineForge通过两项关键创新实现了重大突破:
MLLM配音模型:超越简单的唇部区域音视频对齐,采用多模态大型语言模型(MLLM)架构,能够深度理解角色身份及场景中的情感细微差别。
CineDub大规模数据集:该项目通过自动化管道创建了首个标注详尽的中文电视剧配音数据集,涵盖独白、旁白、对话及多方对话等丰富场景。
项目进展与开源路线图
该项目近期更新频繁,表明其工程成熟度较高:
2026年1月至3月:发布了中文(CineDub-CN)和英语(CineDub-EN)的样本数据集及演示程序。
2026年3月16日:正式开源推理代码和模型权重(Checkpoints),开发者可在GitHub上获取这些资源。
数据集访问:现已开放多个经典剧集数据集供研究使用,包括中文剧集《红楼梦》和英文剧集《唐顿庄园》。
技术应用:从“对话”到“表演”
官方演示显示,该模型在重制《三国演义》等经典剧集时表现出色。通过输入特定的“情感线索”,模型能够精准捕捉角色情绪的转变——从恐惧到反抗——实现高保真的声音克隆和自然的唇形同步。
Fun-CineForge的推出标志着影视AI配音技术正从基础的“文本转语音”向具备艺术理解能力的“自动化后期制作”工具转变。这一进步有望大幅降低影视配音内容的制作成本。
项目:https://funcineforge.github.io/
美国股市触及历史里程碑,人工智能与航空航天巨头准备开启万亿美元时代
埃隆·马斯克、山姆·阿尔特曼和达里奥·阿莫迪,这三位科技领域的巨头,正推动其各自的企业迈向首次公开募股(IPO)。随着 SpaceX、OpenAI 和 Anthropic——这三家估值接近万亿美元的行业巨头——即将上市,2026 年被预测将成为美国历史上新股发行规模最大的一年。这一历史性的资本激增已引起全球金融界的关注,成为检验公共市场吸收如此大规模资金能力的关键压力测试。这些主要融资活动的同步启动预计将打破 2021 年创下的 1560 亿美元纪录。超级独角兽的资本博弈每家公司上市的路径
瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元
随着人工智能驱动的编码工具日益普及,瑞典初创公司 Lovable 已获一轮重大融资。该公司计划筹集 30 亿美元,其估值有望升至 132 亿美元——这是去年 12 月记录的 66 亿美元的两倍。预计 Menlo Ventures 将主导此次投资。Lovable 的吸引力源于其核心的“氛围编码”(vibe coding)技术,该技术通过消除对复杂编码技能的需求来简化软件开发。用户只需以自然语言描述其需求,系统即可自动生成应用程序。这种直观的方法吸引了个人开发者、设计师和小企业,并扩展至 Work





首页






