OpenAI在其API中推出了語音智慧功能

OpenAI在週四宣佈,其API現已新增多項語音智慧功能,這些功能旨在幫助開發者構建能夠進行對話、轉錄和翻譯的應用程式。
該公司新推出的GPT-Realtime-2是一款語音模型,它能夠生成逼真的聲音模擬效果,從而與使用者進行交流。不過,與前代產品GPT-Realtime-1.5不同,這一版本融入了GPT-5級別的推理能力,OpenAI表示,這種能力使該模型能夠處理更復雜的使用者請求。
此外,OpenAI還推出了GPT-Realtime-Translate功能,顧名思義,它能夠提供實時翻譯服務,在使用者對話過程中實時進行語言轉換。這一功能支援超過70種輸入語言和13種輸出語言。
最後,OpenAI還引入了GPT-Realtime-Whisper這一轉錄工具,它可以實時將語音轉換為文字,從而在對話進行的過程中捕捉文字內容。
該公司表示:“我們推出的這些模型共同將實時的音訊技術從簡單的問答模式提升到了真正能夠完成實際任務的語音互動層面——它們可以傾聽、推理、翻譯、轉錄,並在對話過程中採取相應行動。”
那麼,誰會從這些更新中受益呢?顯然,那些希望提升客戶服務能力的企業會是主要受益者。不過,OpenAI也指出,這些新功能還能應用於教育、媒體、活動以及創作者平臺等多個領域。
雖然從企業的角度來看,這些工具非常有用,但它們也存在被濫用的風險。OpenAI表示,他們已經設定了相應的防護機制,以防止這些新功能被用於傳送垃圾資訊、進行欺詐或其他形式的網路濫用行為。系統中嵌入了特定的檢測機制,一旦發現某些對話違反了他們的內容規範,就會立即停止相關操作。
所有這些新的語音模型都包含在OpenAI的Realtime API中。Translate和Whisper功能是按分鐘計費的,而GPT-Realtime-2則根據所消耗的令牌數量來收費。
相關文章
山姆·奧特曼引發關於人工智慧減速的辯論
在Apple Podcasts上收聽在Spotify上收聽OpenAI執行長薩姆·阿爾特曼(Sam Altman)最近表示,現在可能是時候“控制人工智慧的發展速度”,以便社會“在這些新的能力水平周圍加固自身”。在TechCrunch《Equity》播客的最新一期中,Kirsten Korosec、Sean O’Kane和我討論了阿爾特曼的言論可能由最近的一次駭客攻擊所觸發,該攻擊中一名OpenAI代理突破了Hugging Face的系統。Sean指出,雖然由AI代理執行的駭客攻擊是前所未
OpenAI 與蘋果公司就商業秘密訴訟進行對抗
OpenAI 於週二駁回了蘋果公司的商業秘密指控,稱該訴訟毫無根據。“我們認真對待這些指控,但未發現任何支援它們的證據,”OpenAI 表示,據彭博社記者 Ed Ludlow 在 X 平臺報道,“我們支援公平競爭和工作自由,專注於創造賦能全球使用者的技術。”此前,蘋果公司於週五在美國加利福尼亞州北區聯邦地區法院提起訴訟,指控 OpenAI 策劃了一項從前蘋果員工處竊取機密資料和智慧財產權的計劃。這份長達 41 頁的訴狀針對 OpenAI 的高管層,包括首席硬體官 Tang Tan,他是一名擁有
OpenAI機器人專案主管凱特琳·卡利諾夫斯基因五角大樓合作專案辭職
OpenAI 機器人業務負責人凱特琳·卡利諾夫斯基(Caitlin Kalinowski)在該公司與國防部達成備受爭議的合作伙伴關係後辭職。“這不是一個輕鬆的決定,”卡利諾夫斯基在社交媒體宣告中解釋道。“雖然人工智慧在國家安全中發揮著至關重要的作用,但在沒有司法監督的情況下對美國公民進行監視,以及在未經人類授權的情況下部署致命自主武器,都是需要更加慎重考慮的界限。”卡利諾夫斯基此前因領導 Meta 的增強現實眼鏡部門而聞名,她於 2024 年 11 月加入 OpenAI。在辭職信中,她強調她
相關專題推薦
評論 (0)
0/500

OpenAI在週四宣佈,其API現已新增多項語音智慧功能,這些功能旨在幫助開發者構建能夠進行對話、轉錄和翻譯的應用程式。
該公司新推出的GPT-Realtime-2是一款語音模型,它能夠生成逼真的聲音模擬效果,從而與使用者進行交流。不過,與前代產品GPT-Realtime-1.5不同,這一版本融入了GPT-5級別的推理能力,OpenAI表示,這種能力使該模型能夠處理更復雜的使用者請求。
此外,OpenAI還推出了GPT-Realtime-Translate功能,顧名思義,它能夠提供實時翻譯服務,在使用者對話過程中實時進行語言轉換。這一功能支援超過70種輸入語言和13種輸出語言。
最後,OpenAI還引入了GPT-Realtime-Whisper這一轉錄工具,它可以實時將語音轉換為文字,從而在對話進行的過程中捕捉文字內容。
該公司表示:“我們推出的這些模型共同將實時的音訊技術從簡單的問答模式提升到了真正能夠完成實際任務的語音互動層面——它們可以傾聽、推理、翻譯、轉錄,並在對話過程中採取相應行動。”
那麼,誰會從這些更新中受益呢?顯然,那些希望提升客戶服務能力的企業會是主要受益者。不過,OpenAI也指出,這些新功能還能應用於教育、媒體、活動以及創作者平臺等多個領域。
雖然從企業的角度來看,這些工具非常有用,但它們也存在被濫用的風險。OpenAI表示,他們已經設定了相應的防護機制,以防止這些新功能被用於傳送垃圾資訊、進行欺詐或其他形式的網路濫用行為。系統中嵌入了特定的檢測機制,一旦發現某些對話違反了他們的內容規範,就會立即停止相關操作。
所有這些新的語音模型都包含在OpenAI的Realtime API中。Translate和Whisper功能是按分鐘計費的,而GPT-Realtime-2則根據所消耗的令牌數量來收費。
山姆·奧特曼引發關於人工智慧減速的辯論
在Apple Podcasts上收聽在Spotify上收聽OpenAI執行長薩姆·阿爾特曼(Sam Altman)最近表示,現在可能是時候“控制人工智慧的發展速度”,以便社會“在這些新的能力水平周圍加固自身”。在TechCrunch《Equity》播客的最新一期中,Kirsten Korosec、Sean O’Kane和我討論了阿爾特曼的言論可能由最近的一次駭客攻擊所觸發,該攻擊中一名OpenAI代理突破了Hugging Face的系統。Sean指出,雖然由AI代理執行的駭客攻擊是前所未
OpenAI 與蘋果公司就商業秘密訴訟進行對抗
OpenAI 於週二駁回了蘋果公司的商業秘密指控,稱該訴訟毫無根據。“我們認真對待這些指控,但未發現任何支援它們的證據,”OpenAI 表示,據彭博社記者 Ed Ludlow 在 X 平臺報道,“我們支援公平競爭和工作自由,專注於創造賦能全球使用者的技術。”此前,蘋果公司於週五在美國加利福尼亞州北區聯邦地區法院提起訴訟,指控 OpenAI 策劃了一項從前蘋果員工處竊取機密資料和智慧財產權的計劃。這份長達 41 頁的訴狀針對 OpenAI 的高管層,包括首席硬體官 Tang Tan,他是一名擁有
OpenAI機器人專案主管凱特琳·卡利諾夫斯基因五角大樓合作專案辭職
OpenAI 機器人業務負責人凱特琳·卡利諾夫斯基(Caitlin Kalinowski)在該公司與國防部達成備受爭議的合作伙伴關係後辭職。“這不是一個輕鬆的決定,”卡利諾夫斯基在社交媒體宣告中解釋道。“雖然人工智慧在國家安全中發揮著至關重要的作用,但在沒有司法監督的情況下對美國公民進行監視,以及在未經人類授權的情況下部署致命自主武器,都是需要更加慎重考慮的界限。”卡利諾夫斯基此前因領導 Meta 的增強現實眼鏡部門而聞名,她於 2024 年 11 月加入 OpenAI。在辭職信中,她強調她





首頁






