AMD 推出 vLLM-ATOM 外掛程式,以加速大型模型的推論

近期,AMD 正式推出了一款名為vLLM-ATOM 的新外掛程式。其核心目標是在不改變現有工作流程的前提下,充分釋放硬體潛力,為 DeepSeek-R1、Kimi-K2 及 gpt-oss-120B 等主流大型語言模型帶來顯著的推論速度提升。
對開發者而言,vLLM是一個開源框架,旨在優化高並發環境下的吞吐量與 GPU 記憶體使用效率。與傳統的單請求工具不同,它著重於請求調度與快取管理。 AMD 的新款 ATOM 外掛程式是一項專為Instinct GPU 打造的深度客製化解決方案。其突出特點在於「無縫遷移」:企業用戶無需修改現有的 API 介面、指令或端到端工作流程;該外掛程式會自動在後台處理底層的效能優化。
從技術架構角度來看,vLLM-ATOM 採用精確的三層設計。最上層保留了 vLLM 的請求調度與相容性介面;中間層(即 ATOM 外掛程式)負責管理模型實作與核心優化; 底層的AITER 則直接連接到 GPU 硬體,提供諸如 Flash Attention、量化 GEMM 以及融合 MoE 等核心加速功能。
此外掛程式主要針對Instinct MI350、MI400 及 MI355X 等高效能 GPU 運算卡。 其支援清單涵蓋 Qwen3、GLM 和 DeepSeek 等旗艦模型,並全面支援各種架構,包括 MoE(專家混合模型)、密集模型以及視覺語言模型(VLM)。
業界分析師指出,此解決方案的核心價值在於大幅降低高效能運算的部署門檻。透過這種無需學習曲線、平滑遷移的方法,企業能更輕鬆地將 AI 服務遷移至 AMD 硬體後端,在維持推論效率的同時,有效提升大型模型線上服務的穩定性與響應速度。
相關文章
如何修復核心網頁指標以獲得更好的 SEO 排名
利用 AI 工具簡化成績單評語撰寫引言用於生成成績單評語的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成績單評語登入 Magic School選擇成績單評語工具為學生定製評語使用 Almanac AI 生成成績單評語設定課程與評分方案配置評語長度與學生資訊使用 Almanac AI 生成評語比較 Magic School 與 Almanac AI設定的便捷性可定製性與課程內容的整合速度與效率使用
Slackbot 成為 AI 智慧體
Slackbot,嵌入在Salesforce企業訊息平臺Slack中的自動化助手,正在演變為一個AI智慧體。Salesforce技術長Parker Harris設想它將達到與OpenAI的ChatGPT相媲美的病毒式傳播地位。這家雲軟體巨頭於週二推出了更新版的Slackbot。該新版AI驅動版本面向Business+和Enterprise+客戶,可直接在Slack內查詢資訊、起草電子郵件和安排會議。在獲得適當許可權的情況下,它還能與Microsoft Teams和Google Drive等企
位元組跳動加大核心AI激勵,豆包增長14.6%
位元組跳動近日召開豆包股權說明會,公佈面向豆包部門員工的最新激勵政策。豆包股票的行權價已從2026年6月的14.85美元上調至17.02美元,漲幅約為14.6%。此次調整不僅提升了豆包股票的估值,還大幅擴大了其覆蓋範圍。根據員工崗位的不同,部分員工可能獲得相當於其總薪酬約5%的豆包股票。根據新的兌換機制,位元組跳動允許員工在整體薪酬包中,將部分現金工資兌換為豆包股權。兌換比例因職級而異,設有20%和30%等不同檔位。例如,L2和L3級員工可選擇20%的全覆蓋兌換比例,而L3和L4級員工的該比例可
相關專題推薦
評論 (1)
0/500

近期,AMD 正式推出了一款名為vLLM-ATOM 的新外掛程式。其核心目標是在不改變現有工作流程的前提下,充分釋放硬體潛力,為 DeepSeek-R1、Kimi-K2 及 gpt-oss-120B 等主流大型語言模型帶來顯著的推論速度提升。
對開發者而言,vLLM是一個開源框架,旨在優化高並發環境下的吞吐量與 GPU 記憶體使用效率。與傳統的單請求工具不同,它著重於請求調度與快取管理。 AMD 的新款 ATOM 外掛程式是一項專為Instinct GPU 打造的深度客製化解決方案。其突出特點在於「無縫遷移」:企業用戶無需修改現有的 API 介面、指令或端到端工作流程;該外掛程式會自動在後台處理底層的效能優化。
從技術架構角度來看,vLLM-ATOM 採用精確的三層設計。最上層保留了 vLLM 的請求調度與相容性介面;中間層(即 ATOM 外掛程式)負責管理模型實作與核心優化; 底層的AITER 則直接連接到 GPU 硬體,提供諸如 Flash Attention、量化 GEMM 以及融合 MoE 等核心加速功能。
此外掛程式主要針對Instinct MI350、MI400 及 MI355X 等高效能 GPU 運算卡。 其支援清單涵蓋 Qwen3、GLM 和 DeepSeek 等旗艦模型,並全面支援各種架構,包括 MoE(專家混合模型)、密集模型以及視覺語言模型(VLM)。
業界分析師指出,此解決方案的核心價值在於大幅降低高效能運算的部署門檻。透過這種無需學習曲線、平滑遷移的方法,企業能更輕鬆地將 AI 服務遷移至 AMD 硬體後端,在維持推論效率的同時,有效提升大型模型線上服務的穩定性與響應速度。
如何修復核心網頁指標以獲得更好的 SEO 排名
利用 AI 工具簡化成績單評語撰寫引言用於生成成績單評語的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成績單評語登入 Magic School選擇成績單評語工具為學生定製評語使用 Almanac AI 生成成績單評語設定課程與評分方案配置評語長度與學生資訊使用 Almanac AI 生成評語比較 Magic School 與 Almanac AI設定的便捷性可定製性與課程內容的整合速度與效率使用
Slackbot 成為 AI 智慧體
Slackbot,嵌入在Salesforce企業訊息平臺Slack中的自動化助手,正在演變為一個AI智慧體。Salesforce技術長Parker Harris設想它將達到與OpenAI的ChatGPT相媲美的病毒式傳播地位。這家雲軟體巨頭於週二推出了更新版的Slackbot。該新版AI驅動版本面向Business+和Enterprise+客戶,可直接在Slack內查詢資訊、起草電子郵件和安排會議。在獲得適當許可權的情況下,它還能與Microsoft Teams和Google Drive等企
位元組跳動加大核心AI激勵,豆包增長14.6%
位元組跳動近日召開豆包股權說明會,公佈面向豆包部門員工的最新激勵政策。豆包股票的行權價已從2026年6月的14.85美元上調至17.02美元,漲幅約為14.6%。此次調整不僅提升了豆包股票的估值,還大幅擴大了其覆蓋範圍。根據員工崗位的不同,部分員工可能獲得相當於其總薪酬約5%的豆包股票。根據新的兌換機制,位元組跳動允許員工在整體薪酬包中,將部分現金工資兌換為豆包股權。兌換比例因職級而異,設有20%和30%等不同檔位。例如,L2和L3級員工可選擇20%的全覆蓋兌換比例,而L3和L4級員工的該比例可





首頁






