Hume AI 发布 TADA:一款速度提升 5 倍且无幻听现象的开源移动端语音合成系统

Hume AI 已将其最新的语音生成模型 TADA(文本-声学双对齐)开源。这一基于大型语言模型构建的文本转语音(TTS)系统,采用了创新的文本与声学双对齐架构。该方法显著提升了生成效率和可靠性,并拓展了其实际应用范围。
据官方详细介绍,TADA 在文本令牌与声学表示之间建立了严格的 1:1 同步关系。该架构彻底解决了传统基于 LLM 的 TTS 系统中常见的令牌级内容幻觉问题。在涉及 1,000 多个测试样本的评估中,该模型未出现任何内容幻觉现象。
在性能方面,TADA的音频生成速度比同类LLM TTS系统快五倍以上。其资源利用率也极为出色,每秒音频仅需2-3帧的计算资源。相比之下,传统方案通常需要12.5至75帧。这种高效性使该模型能够在智能手机和边缘设备等低功耗硬件上进行本地推理,从而无需依赖云服务器。
TADA 提供多语言支持,包括中文,其多语言版本基于 Llama3.23B 参数规模。 本次发布包含1B(主要针对英语)和3B多语言预训练模型。在2048个令牌的上下文窗口内,该模型单次处理即可生成约700秒的连续音频。这一能力远超传统解决方案——在相同的令牌限制下,后者通常仅能生成约70秒的音频。
其关键创新在于同步转录功能。在生成语音的同时,模型会并行输出对应的文本转录。这一过程省去了额外的自动语音识别(ASR)步骤,从而实现了文本输出的零延迟。该功能对于实时字幕生成、语音交互系统及内容创作工具尤为重要。
在人类主观评估中,TADA 在自然度和语音相似度两项指标上均位列第二。它超越了多个参数规模更大、训练数据更丰富的系统,展现出极具竞争力的音频质量。
链接:https://huggingface.co/collections/HumeAI/tada
相关文章
美国股市触及历史里程碑,人工智能与航空航天巨头准备开启万亿美元时代
埃隆·马斯克、山姆·阿尔特曼和达里奥·阿莫迪,这三位科技领域的巨头,正推动其各自的企业迈向首次公开募股(IPO)。随着 SpaceX、OpenAI 和 Anthropic——这三家估值接近万亿美元的行业巨头——即将上市,2026 年被预测将成为美国历史上新股发行规模最大的一年。这一历史性的资本激增已引起全球金融界的关注,成为检验公共市场吸收如此大规模资金能力的关键压力测试。这些主要融资活动的同步启动预计将打破 2021 年创下的 1560 亿美元纪录。超级独角兽的资本博弈每家公司上市的路径
瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元
随着人工智能驱动的编码工具日益普及,瑞典初创公司 Lovable 已获一轮重大融资。该公司计划筹集 30 亿美元,其估值有望升至 132 亿美元——这是去年 12 月记录的 66 亿美元的两倍。预计 Menlo Ventures 将主导此次投资。Lovable 的吸引力源于其核心的“氛围编码”(vibe coding)技术,该技术通过消除对复杂编码技能的需求来简化软件开发。用户只需以自然语言描述其需求,系统即可自动生成应用程序。这种直观的方法吸引了个人开发者、设计师和小企业,并扩展至 Work
Google 测试 Remy AI 代理,以 Gemini 为重点转向用户控制
根据《商业内幕》的报道,谷歌正在测试 Remy,这是 Gemini 的一款全新 AI 个人代理工具。该工具旨在代表用户执行任务,从而简化专业工作流程和日常事务。目前,Remy 正在 Gemini 应用的内部员工专属版本中进行测试。该报告引用了一份内部文件以及对两位熟悉该项目的个人的采访。内部资料将 Remy 描述为“全天候个人代理”,将 Gemini 定位为能够代表用户行事的主动助手。接近该项目的消息人士证实,谷歌员工正在积极测试 Remy。谷歌发言人拒绝提供进一步评论。该报告未提及公开发布
相关专题推荐
评论 (1)
0/500

Hume AI 已将其最新的语音生成模型 TADA(文本-声学双对齐)开源。这一基于大型语言模型构建的文本转语音(TTS)系统,采用了创新的文本与声学双对齐架构。该方法显著提升了生成效率和可靠性,并拓展了其实际应用范围。
据官方详细介绍,TADA 在文本令牌与声学表示之间建立了严格的 1:1 同步关系。该架构彻底解决了传统基于 LLM 的 TTS 系统中常见的令牌级内容幻觉问题。在涉及 1,000 多个测试样本的评估中,该模型未出现任何内容幻觉现象。
在性能方面,TADA的音频生成速度比同类LLM TTS系统快五倍以上。其资源利用率也极为出色,每秒音频仅需2-3帧的计算资源。相比之下,传统方案通常需要12.5至75帧。这种高效性使该模型能够在智能手机和边缘设备等低功耗硬件上进行本地推理,从而无需依赖云服务器。
TADA 提供多语言支持,包括中文,其多语言版本基于 Llama3.23B 参数规模。 本次发布包含1B(主要针对英语)和3B多语言预训练模型。在2048个令牌的上下文窗口内,该模型单次处理即可生成约700秒的连续音频。这一能力远超传统解决方案——在相同的令牌限制下,后者通常仅能生成约70秒的音频。
其关键创新在于同步转录功能。在生成语音的同时,模型会并行输出对应的文本转录。这一过程省去了额外的自动语音识别(ASR)步骤,从而实现了文本输出的零延迟。该功能对于实时字幕生成、语音交互系统及内容创作工具尤为重要。
在人类主观评估中,TADA 在自然度和语音相似度两项指标上均位列第二。它超越了多个参数规模更大、训练数据更丰富的系统,展现出极具竞争力的音频质量。
链接:https://huggingface.co/collections/HumeAI/tada
美国股市触及历史里程碑,人工智能与航空航天巨头准备开启万亿美元时代
埃隆·马斯克、山姆·阿尔特曼和达里奥·阿莫迪,这三位科技领域的巨头,正推动其各自的企业迈向首次公开募股(IPO)。随着 SpaceX、OpenAI 和 Anthropic——这三家估值接近万亿美元的行业巨头——即将上市,2026 年被预测将成为美国历史上新股发行规模最大的一年。这一历史性的资本激增已引起全球金融界的关注,成为检验公共市场吸收如此大规模资金能力的关键压力测试。这些主要融资活动的同步启动预计将打破 2021 年创下的 1560 亿美元纪录。超级独角兽的资本博弈每家公司上市的路径
瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元
随着人工智能驱动的编码工具日益普及,瑞典初创公司 Lovable 已获一轮重大融资。该公司计划筹集 30 亿美元,其估值有望升至 132 亿美元——这是去年 12 月记录的 66 亿美元的两倍。预计 Menlo Ventures 将主导此次投资。Lovable 的吸引力源于其核心的“氛围编码”(vibe coding)技术,该技术通过消除对复杂编码技能的需求来简化软件开发。用户只需以自然语言描述其需求,系统即可自动生成应用程序。这种直观的方法吸引了个人开发者、设计师和小企业,并扩展至 Work





首页






