Openai升级其转录和发声的AI模型
OpenAI 正通过其 API 推出新的 AI 模型,用于转录和语音生成,承诺较早期版本有显著改进。这些更新是 OpenAI 更大“代理”愿景的一部分,专注于创建能够为用户独立执行任务的自主系统。虽然“代理”一词可能存在争议,但 OpenAI 的产品负责人 Olivier Godement 将其视为可与企业客户互动的聊天机器人。
“在未来几个月,我们将看到越来越多的代理出现,”Godement 在接受 TechCrunch 采访时表示。“总体目标是帮助客户和开发者使用有用、可访问且精准的代理。”
OpenAI 最新的文本转语音模型,名为“gpt-4o-mini-tts”,不仅旨在生成更逼真、更细腻的语音,而且比其前代模型更具适应性。开发者现在可以使用自然语言指令引导模型,例如“像疯狂科学家一样说话”或“使用平静的声音,像正念老师一样”。这种控制水平能够提供更个性化的语音体验。
以下是一个“真实犯罪风格”、饱经风霜的语音样本:
以下是一个女性“专业”语音的示例:
OpenAI 产品团队成员 Jeff Harris 向 TechCrunch 强调,目标是让开发者能够定制语音的“体验”和“语境”。“在不同场景中,你不希望语音单调,”Harris 解释道。“例如,在客户支持场景中,如果需要为错误表示歉意,你可以为语音注入那种情感。我们坚信,开发者和用户不仅想控制内容,还想控制语音表达的方式。”
至于 OpenAI 的新语音转文本产品,“gpt-4o-transcribe”和“gpt-4o-mini-transcribe”,这些模型将取代过时的 Whisper 转录模型。它们在多样化的高质量音频数据上训练,声称能更好地处理带口音和多样化的语音,即使在嘈杂环境中也能表现良好。此外,这些模型较少出现“幻觉”问题,即 Whisper 有时会凭空生成单词或整个段落,导致转录中出现种族评论或虚构医疗治疗等不准确内容。
“在这方面,这些模型比 Whisper 有显著改进,”Harris 指出。“确保模型的准确性对于可靠的语音体验至关重要,我们所说的准确性是指模型能正确捕捉所说的话,而不添加未说的内容。”
然而,不同语言的表现可能有所差异。OpenAI 的内部基准测试显示,gpt-4o-transcribe(两者中更精准的一个)在印度语系和达罗毗荼语系(如泰米尔语、泰卢固语、马拉雅拉姆语和卡纳达语)的“词错率”接近 30%。这意味着在这些语言中,每十个单词中大约有三个可能与人工转录不同。

OpenAI 转录基准测试结果。图片来源:OpenAI 与以往惯例不同,OpenAI 不会免费提供这些新转录模型。此前,他们以 MIT 许可发布新版 Whisper 供商业使用。Harris 指出,gpt-4o-transcribe 和 gpt-4o-mini-transcribe 比 Whisper 大得多,不适合公开发布。
“这些模型太大,无法像 Whisper 那样在普通笔记本电脑上运行,”Harris 补充道。“当我们公开模型时,我们希望谨慎行事,确保它们适合特定需求。我们认为终端用户设备是开源模型的主要领域。”
2025 年 3 月 20 日上午 11:54(太平洋时间)更新,以澄清词错率相关语言,并更新基准测试结果图表为更近期版本。
相关文章
山姆·奥特曼引发关于人工智能减速的辩论
在Apple Podcasts上收听在Spotify上收听OpenAI首席执行官萨姆·阿尔特曼(Sam Altman)最近表示,现在可能是时候“控制人工智能的发展速度”,以便社会“在这些新的能力水平周围加固自身”。在TechCrunch《Equity》播客的最新一期中,Kirsten Korosec、Sean O’Kane和我讨论了阿尔特曼的言论可能由最近的一次黑客攻击所触发,该攻击中一名OpenAI代理突破了Hugging Face的系统。Sean指出,虽然由AI代理执行的黑客攻击是前所未
OpenAI 与苹果公司就商业秘密诉讼进行对抗
OpenAI 于周二驳回了苹果公司的商业秘密指控,称该诉讼毫无根据。“我们认真对待这些指控,但未发现任何支持它们的证据,”OpenAI 表示,据彭博社记者 Ed Ludlow 在 X 平台报道,“我们支持公平竞争和工作自由,专注于创造赋能全球用户的技术。”此前,苹果公司于周五在美国加利福尼亚州北区联邦地区法院提起诉讼,指控 OpenAI 策划了一项从前苹果员工处窃取机密数据和知识产权的计划。这份长达 41 页的诉状针对 OpenAI 的高管层,包括首席硬件官 Tang Tan,他是一名拥有
OpenAI机器人项目主管凯特琳·卡利诺夫斯基因五角大楼合作项目辞职
OpenAI 机器人业务负责人凯特琳·卡利诺夫斯基(Caitlin Kalinowski)在该公司与国防部达成备受争议的合作伙伴关系后辞职。“这不是一个轻松的决定,”卡利诺夫斯基在社交媒体声明中解释道。“虽然人工智能在国家安全中发挥着至关重要的作用,但在没有司法监督的情况下对美国公民进行监视,以及在未经人类授权的情况下部署致命自主武器,都是需要更加慎重考虑的界限。”卡利诺夫斯基此前因领导 Meta 的增强现实眼镜部门而闻名,她于 2024 年 11 月加入 OpenAI。在辞职信中,她强调她
相关专题推荐
评论 (33)
0/500
The new OpenAI models sound like a game-changer for voice tech! Can't wait to see how devs use this to make apps talk smoother than ever. 😎
Wow, OpenAI's new transcription and voice models sound like a game-changer! I'm curious how these 'agentic' systems will stack up against real-world tasks. Could they finally nail natural-sounding convos? 🤔
Os novos modelos de transcrição e geração de voz da OpenAI são um divisor de águas! Estou usando no meu podcast e as melhorias são impressionantes. O único ponto negativo? São um pouco caros, mas se você puder pagar, vale cada centavo! 🎙️💸
OpenAI's new transcription and voice models are a game changer! I've been using them for my podcast and the improvements are night and day. The only downside? They're a bit pricey, but if you can swing it, they're worth every penny! 🎙️💸
OpenAI 正通过其 API 推出新的 AI 模型,用于转录和语音生成,承诺较早期版本有显著改进。这些更新是 OpenAI 更大“代理”愿景的一部分,专注于创建能够为用户独立执行任务的自主系统。虽然“代理”一词可能存在争议,但 OpenAI 的产品负责人 Olivier Godement 将其视为可与企业客户互动的聊天机器人。
“在未来几个月,我们将看到越来越多的代理出现,”Godement 在接受 TechCrunch 采访时表示。“总体目标是帮助客户和开发者使用有用、可访问且精准的代理。”
OpenAI 最新的文本转语音模型,名为“gpt-4o-mini-tts”,不仅旨在生成更逼真、更细腻的语音,而且比其前代模型更具适应性。开发者现在可以使用自然语言指令引导模型,例如“像疯狂科学家一样说话”或“使用平静的声音,像正念老师一样”。这种控制水平能够提供更个性化的语音体验。
以下是一个“真实犯罪风格”、饱经风霜的语音样本:
以下是一个女性“专业”语音的示例:
OpenAI 产品团队成员 Jeff Harris 向 TechCrunch 强调,目标是让开发者能够定制语音的“体验”和“语境”。“在不同场景中,你不希望语音单调,”Harris 解释道。“例如,在客户支持场景中,如果需要为错误表示歉意,你可以为语音注入那种情感。我们坚信,开发者和用户不仅想控制内容,还想控制语音表达的方式。”
至于 OpenAI 的新语音转文本产品,“gpt-4o-transcribe”和“gpt-4o-mini-transcribe”,这些模型将取代过时的 Whisper 转录模型。它们在多样化的高质量音频数据上训练,声称能更好地处理带口音和多样化的语音,即使在嘈杂环境中也能表现良好。此外,这些模型较少出现“幻觉”问题,即 Whisper 有时会凭空生成单词或整个段落,导致转录中出现种族评论或虚构医疗治疗等不准确内容。
“在这方面,这些模型比 Whisper 有显著改进,”Harris 指出。“确保模型的准确性对于可靠的语音体验至关重要,我们所说的准确性是指模型能正确捕捉所说的话,而不添加未说的内容。”
然而,不同语言的表现可能有所差异。OpenAI 的内部基准测试显示,gpt-4o-transcribe(两者中更精准的一个)在印度语系和达罗毗荼语系(如泰米尔语、泰卢固语、马拉雅拉姆语和卡纳达语)的“词错率”接近 30%。这意味着在这些语言中,每十个单词中大约有三个可能与人工转录不同。

与以往惯例不同,OpenAI 不会免费提供这些新转录模型。此前,他们以 MIT 许可发布新版 Whisper 供商业使用。Harris 指出,gpt-4o-transcribe 和 gpt-4o-mini-transcribe 比 Whisper 大得多,不适合公开发布。
“这些模型太大,无法像 Whisper 那样在普通笔记本电脑上运行,”Harris 补充道。“当我们公开模型时,我们希望谨慎行事,确保它们适合特定需求。我们认为终端用户设备是开源模型的主要领域。”
2025 年 3 月 20 日上午 11:54(太平洋时间)更新,以澄清词错率相关语言,并更新基准测试结果图表为更近期版本。
山姆·奥特曼引发关于人工智能减速的辩论
在Apple Podcasts上收听在Spotify上收听OpenAI首席执行官萨姆·阿尔特曼(Sam Altman)最近表示,现在可能是时候“控制人工智能的发展速度”,以便社会“在这些新的能力水平周围加固自身”。在TechCrunch《Equity》播客的最新一期中,Kirsten Korosec、Sean O’Kane和我讨论了阿尔特曼的言论可能由最近的一次黑客攻击所触发,该攻击中一名OpenAI代理突破了Hugging Face的系统。Sean指出,虽然由AI代理执行的黑客攻击是前所未
OpenAI 与苹果公司就商业秘密诉讼进行对抗
OpenAI 于周二驳回了苹果公司的商业秘密指控,称该诉讼毫无根据。“我们认真对待这些指控,但未发现任何支持它们的证据,”OpenAI 表示,据彭博社记者 Ed Ludlow 在 X 平台报道,“我们支持公平竞争和工作自由,专注于创造赋能全球用户的技术。”此前,苹果公司于周五在美国加利福尼亚州北区联邦地区法院提起诉讼,指控 OpenAI 策划了一项从前苹果员工处窃取机密数据和知识产权的计划。这份长达 41 页的诉状针对 OpenAI 的高管层,包括首席硬件官 Tang Tan,他是一名拥有
OpenAI机器人项目主管凯特琳·卡利诺夫斯基因五角大楼合作项目辞职
OpenAI 机器人业务负责人凯特琳·卡利诺夫斯基(Caitlin Kalinowski)在该公司与国防部达成备受争议的合作伙伴关系后辞职。“这不是一个轻松的决定,”卡利诺夫斯基在社交媒体声明中解释道。“虽然人工智能在国家安全中发挥着至关重要的作用,但在没有司法监督的情况下对美国公民进行监视,以及在未经人类授权的情况下部署致命自主武器,都是需要更加慎重考虑的界限。”卡利诺夫斯基此前因领导 Meta 的增强现实眼镜部门而闻名,她于 2024 年 11 月加入 OpenAI。在辞职信中,她强调她
The new OpenAI models sound like a game-changer for voice tech! Can't wait to see how devs use this to make apps talk smoother than ever. 😎
Wow, OpenAI's new transcription and voice models sound like a game-changer! I'm curious how these 'agentic' systems will stack up against real-world tasks. Could they finally nail natural-sounding convos? 🤔
Os novos modelos de transcrição e geração de voz da OpenAI são um divisor de águas! Estou usando no meu podcast e as melhorias são impressionantes. O único ponto negativo? São um pouco caros, mas se você puder pagar, vale cada centavo! 🎙️💸
OpenAI's new transcription and voice models are a game changer! I've been using them for my podcast and the improvements are night and day. The only downside? They're a bit pricey, but if you can swing it, they're worth every penny! 🎙️💸





首页






