OpenAI在其API中推出了语音智能功能

OpenAI在周四宣布,其API现已新增多项语音智能功能,这些功能旨在帮助开发者构建能够进行对话、转录和翻译的应用程序。
该公司新推出的GPT-Realtime-2是一款语音模型,它能够生成逼真的声音模拟效果,从而与用户进行交流。不过,与前代产品GPT-Realtime-1.5不同,这一版本融入了GPT-5级别的推理能力,OpenAI表示,这种能力使该模型能够处理更复杂的用户请求。
此外,OpenAI还推出了GPT-Realtime-Translate功能,顾名思义,它能够提供实时翻译服务,在用户对话过程中实时进行语言转换。这一功能支持超过70种输入语言和13种输出语言。
最后,OpenAI还引入了GPT-Realtime-Whisper这一转录工具,它可以实时将语音转换为文本,从而在对话进行的过程中捕捉文字内容。
该公司表示:“我们推出的这些模型共同将实时的音频技术从简单的问答模式提升到了真正能够完成实际任务的语音交互层面——它们可以倾听、推理、翻译、转录,并在对话过程中采取相应行动。”
那么,谁会从这些更新中受益呢?显然,那些希望提升客户服务能力的企业会是主要受益者。不过,OpenAI也指出,这些新功能还能应用于教育、媒体、活动以及创作者平台等多个领域。
虽然从企业的角度来看,这些工具非常有用,但它们也存在被滥用的风险。OpenAI表示,他们已经设置了相应的防护机制,以防止这些新功能被用于发送垃圾信息、进行欺诈或其他形式的网络滥用行为。系统中嵌入了特定的检测机制,一旦发现某些对话违反了他们的内容规范,就会立即停止相关操作。
所有这些新的语音模型都包含在OpenAI的Realtime API中。Translate和Whisper功能是按分钟计费的,而GPT-Realtime-2则根据所消耗的令牌数量来收费。
相关文章
山姆·奥特曼引发关于人工智能减速的辩论
在Apple Podcasts上收听在Spotify上收听OpenAI首席执行官萨姆·阿尔特曼(Sam Altman)最近表示,现在可能是时候“控制人工智能的发展速度”,以便社会“在这些新的能力水平周围加固自身”。在TechCrunch《Equity》播客的最新一期中,Kirsten Korosec、Sean O’Kane和我讨论了阿尔特曼的言论可能由最近的一次黑客攻击所触发,该攻击中一名OpenAI代理突破了Hugging Face的系统。Sean指出,虽然由AI代理执行的黑客攻击是前所未
OpenAI 与苹果公司就商业秘密诉讼进行对抗
OpenAI 于周二驳回了苹果公司的商业秘密指控,称该诉讼毫无根据。“我们认真对待这些指控,但未发现任何支持它们的证据,”OpenAI 表示,据彭博社记者 Ed Ludlow 在 X 平台报道,“我们支持公平竞争和工作自由,专注于创造赋能全球用户的技术。”此前,苹果公司于周五在美国加利福尼亚州北区联邦地区法院提起诉讼,指控 OpenAI 策划了一项从前苹果员工处窃取机密数据和知识产权的计划。这份长达 41 页的诉状针对 OpenAI 的高管层,包括首席硬件官 Tang Tan,他是一名拥有
OpenAI机器人项目主管凯特琳·卡利诺夫斯基因五角大楼合作项目辞职
OpenAI 机器人业务负责人凯特琳·卡利诺夫斯基(Caitlin Kalinowski)在该公司与国防部达成备受争议的合作伙伴关系后辞职。“这不是一个轻松的决定,”卡利诺夫斯基在社交媒体声明中解释道。“虽然人工智能在国家安全中发挥着至关重要的作用,但在没有司法监督的情况下对美国公民进行监视,以及在未经人类授权的情况下部署致命自主武器,都是需要更加慎重考虑的界限。”卡利诺夫斯基此前因领导 Meta 的增强现实眼镜部门而闻名,她于 2024 年 11 月加入 OpenAI。在辞职信中,她强调她
相关专题推荐
评论 (0)
0/500

OpenAI在周四宣布,其API现已新增多项语音智能功能,这些功能旨在帮助开发者构建能够进行对话、转录和翻译的应用程序。
该公司新推出的GPT-Realtime-2是一款语音模型,它能够生成逼真的声音模拟效果,从而与用户进行交流。不过,与前代产品GPT-Realtime-1.5不同,这一版本融入了GPT-5级别的推理能力,OpenAI表示,这种能力使该模型能够处理更复杂的用户请求。
此外,OpenAI还推出了GPT-Realtime-Translate功能,顾名思义,它能够提供实时翻译服务,在用户对话过程中实时进行语言转换。这一功能支持超过70种输入语言和13种输出语言。
最后,OpenAI还引入了GPT-Realtime-Whisper这一转录工具,它可以实时将语音转换为文本,从而在对话进行的过程中捕捉文字内容。
该公司表示:“我们推出的这些模型共同将实时的音频技术从简单的问答模式提升到了真正能够完成实际任务的语音交互层面——它们可以倾听、推理、翻译、转录,并在对话过程中采取相应行动。”
那么,谁会从这些更新中受益呢?显然,那些希望提升客户服务能力的企业会是主要受益者。不过,OpenAI也指出,这些新功能还能应用于教育、媒体、活动以及创作者平台等多个领域。
虽然从企业的角度来看,这些工具非常有用,但它们也存在被滥用的风险。OpenAI表示,他们已经设置了相应的防护机制,以防止这些新功能被用于发送垃圾信息、进行欺诈或其他形式的网络滥用行为。系统中嵌入了特定的检测机制,一旦发现某些对话违反了他们的内容规范,就会立即停止相关操作。
所有这些新的语音模型都包含在OpenAI的Realtime API中。Translate和Whisper功能是按分钟计费的,而GPT-Realtime-2则根据所消耗的令牌数量来收费。
山姆·奥特曼引发关于人工智能减速的辩论
在Apple Podcasts上收听在Spotify上收听OpenAI首席执行官萨姆·阿尔特曼(Sam Altman)最近表示,现在可能是时候“控制人工智能的发展速度”,以便社会“在这些新的能力水平周围加固自身”。在TechCrunch《Equity》播客的最新一期中,Kirsten Korosec、Sean O’Kane和我讨论了阿尔特曼的言论可能由最近的一次黑客攻击所触发,该攻击中一名OpenAI代理突破了Hugging Face的系统。Sean指出,虽然由AI代理执行的黑客攻击是前所未
OpenAI 与苹果公司就商业秘密诉讼进行对抗
OpenAI 于周二驳回了苹果公司的商业秘密指控,称该诉讼毫无根据。“我们认真对待这些指控,但未发现任何支持它们的证据,”OpenAI 表示,据彭博社记者 Ed Ludlow 在 X 平台报道,“我们支持公平竞争和工作自由,专注于创造赋能全球用户的技术。”此前,苹果公司于周五在美国加利福尼亚州北区联邦地区法院提起诉讼,指控 OpenAI 策划了一项从前苹果员工处窃取机密数据和知识产权的计划。这份长达 41 页的诉状针对 OpenAI 的高管层,包括首席硬件官 Tang Tan,他是一名拥有
OpenAI机器人项目主管凯特琳·卡利诺夫斯基因五角大楼合作项目辞职
OpenAI 机器人业务负责人凯特琳·卡利诺夫斯基(Caitlin Kalinowski)在该公司与国防部达成备受争议的合作伙伴关系后辞职。“这不是一个轻松的决定,”卡利诺夫斯基在社交媒体声明中解释道。“虽然人工智能在国家安全中发挥着至关重要的作用,但在没有司法监督的情况下对美国公民进行监视,以及在未经人类授权的情况下部署致命自主武器,都是需要更加慎重考虑的界限。”卡利诺夫斯基此前因领导 Meta 的增强现实眼镜部门而闻名,她于 2024 年 11 月加入 OpenAI。在辞职信中,她强调她





首页






