NVIDIA 釋出 Nemotron-Labs-Audex-30B-A3B 統一音訊智慧模型

隨著多模態大模型的快速發展,音訊處理能力往往受到妥協——許多模型在提升音訊理解能力的同時,卻犧牲了文字邏輯。為解決這一問題,NVIDIA 研究人員推出了 Nemotron-Labs-Audex-30B-A3B(Audex),這是一款統一的音訊-文字大語言模型,旨在彌合這一差距。
Audex 採用精簡高效的設計,基於強大的純文字混合專家(MoE)架構構建。透過利用單個 Transformer 解碼器,它同時處理文字和量化音訊令牌。該方法將音訊輸入投影到文字嵌入空間,確保與現有用於多模態任務的大語言模型基礎設施無縫整合,從而實現真正的深度融合。
訓練過程涉及包含 1574 億音訊令牌和 3205 億文字令牌的大量資料集。透過多階段監督訓練、純文字級聯強化學習以及多領域策略內知識蒸餾,Audex 在音訊理解、語音識別、翻譯和生成方面實現了行業領先的效能。關鍵在於,它以極小的效能損耗保留了原始大語言模型在推理、對齊、知識檢索和長文字處理方面的核心能力。
作為開源模型,Audex 標誌著語音技術領域的一個重要里程碑。超越理論研究,它為開發者提供了成熟的解決方案,可直接進行評估和部署。對於那些管理複雜音訊互動的使用者而言,Audex 提供了一個平衡的選項,在提升效能的同時,也為多模態智慧研究開闢了新的途徑。
相關文章
Claude Opus 5.2 夜灰色版釋出,響應速度更快,解決懶惰問題
Opus 5.2 今晨悄然上線,促使許多開發者注意到,更新後的模型 Claude Opus 5.2 已在 Claude Code 內部開始有限範圍的推送。昨晚,X 平臺使用者觀察到,在 Claude Code 中呼叫 Opus 5 時,其效能遠超標準網頁版,宛如“降維打擊”。這種路由策略在頂級 AI 公司中十分常見。資料包分析顯示,儘管前端標籤未變,但底層模型識別符號已切換為 Opus 5.2,這表明 Anthropic 可能完全跳過了 5.1 版本。速度、精度與自動“高強度迴圈”下的持續執
Fireworks AI 釋出搭載 Opus 的 FireRouter:編碼成本降低 57%,精度損失極小
Fireworks AI 推出了搭載 Opus 的 FireRouter,這是業界首個專為 Claude Opus 系列定製的快取感知路由系統。目前,該獨立路由模型已透過無伺服器端點開放使用。經過超過一個月的內部 A/B 測試,FireRouter 在編碼任務中實現了 98.1% 的準確率,同時與單獨使用 Opus 相比,成本降低了 57%。FireRouter 的工作原理是在每次使用者互動時評估每個模型對當前任務的適用性。它計算處理成本(包括提示詞快取),並判斷切換模型所節省的成本是否足以抵消緩
如何修復移動 SEO 的核心網頁指標
提升本地 SEO:構建您的 Google 實體雲盤堆疊目錄:簡介理解 Google 實體雲堆疊Google 實體雲堆疊的關鍵優勢開始使用 Google 實體雲堆疊 4.1. 選項 1:獲取老號 Gmail 賬戶 4.2. 選項 2:建立新賬戶配置 Google Drive 以進行實體堆疊 5.1. 瞭解資料夾型別 5.2. 建立公共資料夾 5.3. 跨賬戶共享資料夾最大化實體雲堆疊的影響 6.1. 開發 SEO 友好型內容 6.2. 為您的堆疊生成反向連結管理和組織實體雲堆疊的最
相關專題推薦
評論 (0)
0/500

隨著多模態大模型的快速發展,音訊處理能力往往受到妥協——許多模型在提升音訊理解能力的同時,卻犧牲了文字邏輯。為解決這一問題,NVIDIA 研究人員推出了 Nemotron-Labs-Audex-30B-A3B(Audex),這是一款統一的音訊-文字大語言模型,旨在彌合這一差距。
Audex 採用精簡高效的設計,基於強大的純文字混合專家(MoE)架構構建。透過利用單個 Transformer 解碼器,它同時處理文字和量化音訊令牌。該方法將音訊輸入投影到文字嵌入空間,確保與現有用於多模態任務的大語言模型基礎設施無縫整合,從而實現真正的深度融合。
訓練過程涉及包含 1574 億音訊令牌和 3205 億文字令牌的大量資料集。透過多階段監督訓練、純文字級聯強化學習以及多領域策略內知識蒸餾,Audex 在音訊理解、語音識別、翻譯和生成方面實現了行業領先的效能。關鍵在於,它以極小的效能損耗保留了原始大語言模型在推理、對齊、知識檢索和長文字處理方面的核心能力。
作為開源模型,Audex 標誌著語音技術領域的一個重要里程碑。超越理論研究,它為開發者提供了成熟的解決方案,可直接進行評估和部署。對於那些管理複雜音訊互動的使用者而言,Audex 提供了一個平衡的選項,在提升效能的同時,也為多模態智慧研究開闢了新的途徑。
Claude Opus 5.2 夜灰色版釋出,響應速度更快,解決懶惰問題
Opus 5.2 今晨悄然上線,促使許多開發者注意到,更新後的模型 Claude Opus 5.2 已在 Claude Code 內部開始有限範圍的推送。昨晚,X 平臺使用者觀察到,在 Claude Code 中呼叫 Opus 5 時,其效能遠超標準網頁版,宛如“降維打擊”。這種路由策略在頂級 AI 公司中十分常見。資料包分析顯示,儘管前端標籤未變,但底層模型識別符號已切換為 Opus 5.2,這表明 Anthropic 可能完全跳過了 5.1 版本。速度、精度與自動“高強度迴圈”下的持續執
Fireworks AI 釋出搭載 Opus 的 FireRouter:編碼成本降低 57%,精度損失極小
Fireworks AI 推出了搭載 Opus 的 FireRouter,這是業界首個專為 Claude Opus 系列定製的快取感知路由系統。目前,該獨立路由模型已透過無伺服器端點開放使用。經過超過一個月的內部 A/B 測試,FireRouter 在編碼任務中實現了 98.1% 的準確率,同時與單獨使用 Opus 相比,成本降低了 57%。FireRouter 的工作原理是在每次使用者互動時評估每個模型對當前任務的適用性。它計算處理成本(包括提示詞快取),並判斷切換模型所節省的成本是否足以抵消緩
如何修復移動 SEO 的核心網頁指標
提升本地 SEO:構建您的 Google 實體雲盤堆疊目錄:簡介理解 Google 實體雲堆疊Google 實體雲堆疊的關鍵優勢開始使用 Google 實體雲堆疊 4.1. 選項 1:獲取老號 Gmail 賬戶 4.2. 選項 2:建立新賬戶配置 Google Drive 以進行實體堆疊 5.1. 瞭解資料夾型別 5.2. 建立公共資料夾 5.3. 跨賬戶共享資料夾最大化實體雲堆疊的影響 6.1. 開發 SEO 友好型內容 6.2. 為您的堆疊生成反向連結管理和組織實體雲堆疊的最





首頁






