微軟的 VibeVoice AI 系列開放原始碼,可處理長達 90 分鐘的對話,GitHub 星標數突破 27,000 顆
微軟最近開源了一套名為VibeVoice 的尖端語音 AI 模型系列,具備自動語音辨識(ASR)和文字轉語音(TTS)等功能。 憑藉其強大的長音訊處理能力、自然的多發言人對話生成功能,以及即時、低延遲的表現,該專案迅速引起開發者社群的關注,目前在 GitHub 上已累積約 27,000 顆星。
VibeVoice 作為採用 MIT 授權的開源研究框架發布,支援本地部署且無需支付雲端訂閱費用,旨在促進語音合成領域的合作與創新。該模型系列包含三個核心成員,各自針對傳統語音 AI 中的特定挑戰進行優化,例如長序列處理、發言人一致性及自然流暢度。

VibeVoice-ASR-7B:強大的結構化語音轉文字工具,可處理長達 60 分鐘的音訊
VibeVoice-ASR-7B是一款統一的語音轉文字模型,能夠在單次處理中處理長達 60 分鐘的音訊檔案,並直接輸出結構化文字記錄。輸出結果會識別說話者、提供精確的時間戳記,並詳述語音內容,同時支援自訂熱詞以提升專有名詞或技術術語的辨識準確度。 支援超過 50 種語言,非常適合用於長篇會議錄音和播客轉錄等複雜情境。
社群開發者已基於此模型開發出實用工具,例如適用於 macOS 和 Windows 的語音輸入法「Vibing」。使用者反饋顯示其在速度與準確度方面表現優異,顯著提升了日常語音輸入的效率。
VibeVoice-TTS-1.5B:支援多達 90 分鐘、多名講者的生動語音生成
VibeVoice-TTS-1.5B是核心文字轉語音模型,能一次生成長達 90 分鐘的連續音訊,並支援多達四位不同講者,以模擬自然的對話。合成語音極具表現力,聽起來自然流暢,並具備真實的停頓、重音和情緒變化,非常適合播客、長篇敘事、有聲書或多角色對話。
有別於許多僅限 1 至 2 名發言者的傳統 TTS 模型,VibeVoice-TTS 在長篇內容與多發言者的一致性方面實現了重大突破。其架構結合了連續語音分詞器(包含聲學與語義分析)與低幀率(7.5Hz),大幅提升了長序列的運算效率。
VibeVoice-Realtime-0.5B:延遲約 300 毫秒的即時語音合成
VibeVoice-Realtime-0.5B專為即時應用設計,支援串流文字輸入,首音延遲約 300 毫秒,同時仍能生成長達 10 分鐘的音訊。此模型特別適合需要即時回饋的互動式應用,例如即時語音助理或直播配音。
此外,該專案還引入了實驗性的發音者支援功能,包含多國語言發音及多種英語風格變體,為開發者提供更豐富的自訂選項。
AIbase 評析:微軟將 VibeVoice 開源,不僅降低了高性能語音 AI 的入門門檻,更提供了一套完整的本地部署解決方案。該專案曾因潛在的濫用風險而短暫下架,但在實施音訊水印和可聽見的免責聲明等安全措施後重新上線,體現了負責任的 AI 開發原則。開發者現在可從 GitHub 和 Hugging Face 取得模型權重,並透過 Colab 等平台快速進行測試。
隨著開源社群持續貢獻(包括針對 Apple Silicon 的優化),VibeVoice 勢將加速在內容創作、輔助技術工具及語音互動領域的應用。有興趣的開發者可造訪微軟的官方專案頁面進行進一步探索。
專案網址:https://github.com/microsoft/VibeVoice
相關文章
美國股市觸及歷史裡程碑,人工智慧與航空航天巨頭準備開啟萬億美元時代
埃隆·馬斯克、山姆·阿爾特曼和達里奧·阿莫迪,這三位科技領域的巨頭,正推動其各自的企業邁向首次公開募股(IPO)。隨著 SpaceX、OpenAI 和 Anthropic——這三家估值接近萬億美元的行業巨頭——即將上市,2026 年被預測將成為美國曆史上新股發行規模最大的一年。這一歷史性的資本激增已引起全球金融界的關注,成為檢驗公共市場吸收如此大規模資金能力的關鍵壓力測試。這些主要融資活動的同步啟動預計將打破 2021 年創下的 1560 億美元紀錄。超級獨角獸的資本博弈每家公司上市的路徑
瑞典人工智慧初創公司Lovable Eyes在完成主要融資輪後估值達132億美元
隨著人工智慧驅動的編碼工具日益普及,瑞典初創公司 Lovable 已獲一輪重大融資。該公司計劃籌集 30 億美元,其估值有望升至 132 億美元——這是去年 12 月記錄的 66 億美元的兩倍。預計 Menlo Ventures 將主導此次投資。Lovable 的吸引力源於其核心的“氛圍編碼”(vibe coding)技術,該技術透過消除對複雜編碼技能的需求來簡化軟體開發。使用者只需以自然語言描述其需求,系統即可自動生成應用程式。這種直觀的方法吸引了個人開發者、設計師和小企業,並擴充套件至 Work
Google 測試 Remy AI 代理,以 Gemini 為重點轉向使用者控制
根據《商業內幕》的報道,谷歌正在測試 Remy,這是 Gemini 的一款全新 AI 個人代理工具。該工具旨在代表使用者執行任務,從而簡化專業工作流程和日常事務。目前,Remy 正在 Gemini 應用的內部員工專屬版本中進行測試。該報告引用了一份內部檔案以及對兩位熟悉該專案的個人的採訪。內部資料將 Remy 描述為“全天候個人代理”,將 Gemini 定位為能夠代表使用者行事的主動助手。接近該專案的訊息人士證實,谷歌員工正在積極測試 Remy。谷歌發言人拒絕提供進一步評論。該報告未提及公開發布
相關專題推薦
評論 (0)
0/500
微軟最近開源了一套名為VibeVoice 的尖端語音 AI 模型系列,具備自動語音辨識(ASR)和文字轉語音(TTS)等功能。 憑藉其強大的長音訊處理能力、自然的多發言人對話生成功能,以及即時、低延遲的表現,該專案迅速引起開發者社群的關注,目前在 GitHub 上已累積約 27,000 顆星。
VibeVoice 作為採用 MIT 授權的開源研究框架發布,支援本地部署且無需支付雲端訂閱費用,旨在促進語音合成領域的合作與創新。該模型系列包含三個核心成員,各自針對傳統語音 AI 中的特定挑戰進行優化,例如長序列處理、發言人一致性及自然流暢度。

VibeVoice-ASR-7B:強大的結構化語音轉文字工具,可處理長達 60 分鐘的音訊
VibeVoice-ASR-7B是一款統一的語音轉文字模型,能夠在單次處理中處理長達 60 分鐘的音訊檔案,並直接輸出結構化文字記錄。輸出結果會識別說話者、提供精確的時間戳記,並詳述語音內容,同時支援自訂熱詞以提升專有名詞或技術術語的辨識準確度。 支援超過 50 種語言,非常適合用於長篇會議錄音和播客轉錄等複雜情境。
社群開發者已基於此模型開發出實用工具,例如適用於 macOS 和 Windows 的語音輸入法「Vibing」。使用者反饋顯示其在速度與準確度方面表現優異,顯著提升了日常語音輸入的效率。
VibeVoice-TTS-1.5B:支援多達 90 分鐘、多名講者的生動語音生成
VibeVoice-TTS-1.5B是核心文字轉語音模型,能一次生成長達 90 分鐘的連續音訊,並支援多達四位不同講者,以模擬自然的對話。合成語音極具表現力,聽起來自然流暢,並具備真實的停頓、重音和情緒變化,非常適合播客、長篇敘事、有聲書或多角色對話。
有別於許多僅限 1 至 2 名發言者的傳統 TTS 模型,VibeVoice-TTS 在長篇內容與多發言者的一致性方面實現了重大突破。其架構結合了連續語音分詞器(包含聲學與語義分析)與低幀率(7.5Hz),大幅提升了長序列的運算效率。
VibeVoice-Realtime-0.5B:延遲約 300 毫秒的即時語音合成
VibeVoice-Realtime-0.5B專為即時應用設計,支援串流文字輸入,首音延遲約 300 毫秒,同時仍能生成長達 10 分鐘的音訊。此模型特別適合需要即時回饋的互動式應用,例如即時語音助理或直播配音。
此外,該專案還引入了實驗性的發音者支援功能,包含多國語言發音及多種英語風格變體,為開發者提供更豐富的自訂選項。
AIbase 評析:微軟將 VibeVoice 開源,不僅降低了高性能語音 AI 的入門門檻,更提供了一套完整的本地部署解決方案。該專案曾因潛在的濫用風險而短暫下架,但在實施音訊水印和可聽見的免責聲明等安全措施後重新上線,體現了負責任的 AI 開發原則。開發者現在可從 GitHub 和 Hugging Face 取得模型權重,並透過 Colab 等平台快速進行測試。
隨著開源社群持續貢獻(包括針對 Apple Silicon 的優化),VibeVoice 勢將加速在內容創作、輔助技術工具及語音互動領域的應用。有興趣的開發者可造訪微軟的官方專案頁面進行進一步探索。
專案網址:https://github.com/microsoft/VibeVoice
美國股市觸及歷史裡程碑,人工智慧與航空航天巨頭準備開啟萬億美元時代
埃隆·馬斯克、山姆·阿爾特曼和達里奧·阿莫迪,這三位科技領域的巨頭,正推動其各自的企業邁向首次公開募股(IPO)。隨著 SpaceX、OpenAI 和 Anthropic——這三家估值接近萬億美元的行業巨頭——即將上市,2026 年被預測將成為美國曆史上新股發行規模最大的一年。這一歷史性的資本激增已引起全球金融界的關注,成為檢驗公共市場吸收如此大規模資金能力的關鍵壓力測試。這些主要融資活動的同步啟動預計將打破 2021 年創下的 1560 億美元紀錄。超級獨角獸的資本博弈每家公司上市的路徑
瑞典人工智慧初創公司Lovable Eyes在完成主要融資輪後估值達132億美元
隨著人工智慧驅動的編碼工具日益普及,瑞典初創公司 Lovable 已獲一輪重大融資。該公司計劃籌集 30 億美元,其估值有望升至 132 億美元——這是去年 12 月記錄的 66 億美元的兩倍。預計 Menlo Ventures 將主導此次投資。Lovable 的吸引力源於其核心的“氛圍編碼”(vibe coding)技術,該技術透過消除對複雜編碼技能的需求來簡化軟體開發。使用者只需以自然語言描述其需求,系統即可自動生成應用程式。這種直觀的方法吸引了個人開發者、設計師和小企業,並擴充套件至 Work





首頁






