вариант
Дом
Новости
AMD выпустила плагин vLLM-ATOM для ускорения инференса на больших моделях

AMD выпустила плагин vLLM-ATOM для ускорения инференса на больших моделях

24 июля 2026 г.
73

AMD выпустила плагин vLLM-ATOM для ускорения инференса на больших моделях

Недавно компания AMD официально представила новый плагин под названием vLLM-ATOM. Его основная цель — раскрыть дополнительный потенциал аппаратного обеспечения без изменения существующих рабочих процессов, обеспечивая значительное ускорение инференса для популярных крупных языковых моделей, таких как DeepSeek-R1, Kimi-K2 и gpt-oss-120B.

Для разработчиков vLLM представляет собой фреймворк с открытым исходным кодом, предназначенный для оптимизации пропускной способности и использования памяти графического процессора в условиях высокой параллельности. В отличие от традиционных инструментов, обрабатывающих запросы по одному, он ориентирован на планирование запросов и управление кэшем. Новый плагин ATOM от AMD представляет собой глубоко настроенное решение, созданное специально для графических процессоров Instinct. Его отличительной особенностью является «бесшовная миграция»: корпоративным пользователям не нужно изменять существующие API-интерфейсы, команды или сквозные рабочие процессы; плагин автоматически выполняет оптимизацию производительности на фоне.

С точки зрения технической архитектуры vLLM-ATOM использует четкую трехуровневую структуру. Верхний уровень сохраняет механизм планирования запросов и интерфейс совместимости vLLM. Средний уровень, представляющий собой плагин ATOM, управляет реализацией модели и оптимизацией ядра. Нижний уровень, AITER, напрямую подключается к аппаратному обеспечению графического процессора, обеспечивая основные возможности ускорения, такие как Flash Attention, квантованный GEMM и слияние MoE.

Этот плагин в первую очередь ориентирован на высокопроизводительные вычислительные карты с графическим процессором , такие как Instinct MI350, MI400 и MI355X. Список поддерживаемых моделей включает флагманские модели, такие как Qwen3, GLM и DeepSeek, и обеспечивает полное покрытие различных архитектур, включая MoE (Mixture of Experts), плотные модели и модели «зрение-язык» (VLM).

Отраслевые аналитики отмечают, что основная ценность этого решения заключается в значительном снижении барьеров для внедрения высокопроизводительных вычислений. Благодаря этому подходу, не требующему освоения и обеспечивающему плавный переход, предприятия могут более легко переносить сервисы ИИ на аппаратную платформу AMD, сохраняя эффективность инференса и одновременно эффективно повышая стабильность и скорость отклика онлайн-сервисов на основе крупных моделей.

Связанная статья
Как исправить Core Web Vitals для улучшения позиций в поисковой выдаче Как исправить Core Web Vitals для улучшения позиций в поисковой выдаче Оптимизация написания комментариев в отчетных карточках с помощью ИИ-инструментовВведениеИИ-инструменты для генерации комментариев в отчетных карточкахMagic SchoolAlmanac AIChat GPTИспользование Magic School для генерации комментариев в отчетны
Slackbot становится ИИ-агентом Slackbot становится ИИ-агентом Slackbot, автоматизированный помощник, встроенный в корпоративную платформу обмена сообщениями Salesforce Slack, превращается в ИИ-агента. Технический директор Salesforce Паркер Харрис предполагает, что он достигнет вирусной популярности, сопоставимо
ByteDance усиливает основные стимулы для ИИ, поскольку Doubao растет на 14,6% ByteDance усиливает основные стимулы для ИИ, поскольку Doubao растет на 14,6% Недавно ByteDance провела краткий брифинг по акциям DouBao, чтобы раскрыть новые стимулирующие политики для сотрудников, участвующих в подразделении DouBao. Цена исполнения для акций DouBao была повышена с $14.85 в июне 2026 года до $17.02, что соста
Рекомендации по связанным специальным темам
Образование и обучение Инструменты на базе искусственного интеллекта для выполнения домашних заданий и подготовки к экзаменам
Инструменты на базе искусственного интеллекта для выполнения домашних заданий и подготовки к экзаменам

2026: лучшие современные инструменты на базе ИИ для выполнения домашних заданий и подготовки к экзаменам! XIX.AI подготовило рейтинг самых эффективных и революционных инструментов, которые помогают учащимся повысить продуктивность, оптимизировать выполнение домашних заданий и сдавать экзамены на «отлично», проходя проверку в реальных условиях. Получите сравнение бесплатных и платных версий, подробные рейтинги и варианты, которые обязательно стоит попробовать, чтобы раскрыть свой потенциал с помощью ИИ. Узнайте больше прямо сейчас!

10 инструментов
xix.ai
Музыкальная композиция Инструменты для создания вокальных демо на основе ИИ для авторов песен, создания хуков, написания тоpline-мелодий и проведения многоязычных черновых сессий
Инструменты для создания вокальных демо на основе ИИ для авторов песен, создания хуков, написания тоpline-мелодий и проведения многоязычных черновых сессий

2026 г. лучшие инструменты для демо-записи вокала на базе ИИ для авторов песен, создателей хуков и команд, работающих с контентом на нескольких языках! XIX.AI подготовил список высокооцененных мощных инструментов, изменивших правила игры, прошедших строгие реальные тесты. Вы найдёте подробные данные сравнения бесплатных и платных версий, комплексные рейтинги и обязательные к использованию варианты, которые помогут повысить эффективность написания и раскрыть ваш творческий потенциал. Исследуйте сейчас, чтобы найти идеальный инструмент для всех ваших задач по созданию контента!

9 инструментов
xix.ai
Бизнес Лучшие инструменты для анализа конкурентов на основе искусственного интеллекта для малого бизнеса
Лучшие инструменты для анализа конкурентов на основе искусственного интеллекта для малого бизнеса

2026: новейшие, лучшие и самые высокооцененные инструменты для анализа конкурентов на базе ИИ для малого бизнеса! XIX.AI подготовила чрезвычайно мощную подборку, способную кардинально изменить ситуацию на рынке, которая еженедельно обновляется на основе тщательных тестов в реальных условиях и подробных рейтингов. Вы найдете здесь исчерпывающее сравнение бесплатных и платных версий, которое поможет вам определить инструменты, которые обязательно стоит попробовать, чтобы повысить свою продуктивность и получить конкурентное преимущество. Ознакомьтесь с ней прямо сейчас, чтобы найти идеальный инструмент для себя!

9 инструментов
xix.ai
Редактирование изображений Инструменты ИИ-ретуши в Photoshop для электронной коммерции, одежды, очистки кожи и обеспечения цветового единообразия
Инструменты ИИ-ретуши в Photoshop для электронной коммерции, одежды, очистки кожи и обеспечения цветового единообразия

2026 Latest Best Photoshop AI retouch tools for ecommerce apparel, skin cleanup, and color consistency! This top-rated curated list features powerful game-changing solutions that help you boost writing efficiency, streamline content creation, and achieve perfect visual results effortlessly. Each tool has undergone real-world tests through weekly updated rankings, complete with free vs paid comparison details. Backed by XIX.AI, it’s the must-try guide for anyone aiming to unlock your AI edge. Explore now!

10 инструментов
xix.ai
Быстрый Лучшие библиотеки подсказок для ИИ в рабочих процессах ChatGPT
Лучшие библиотеки подсказок для ИИ в рабочих процессах ChatGPT

2026: новейшие и лучшие библиотеки подсказок для ИИ с высоким рейтингом, предназначенные для оптимизации всех типов рабочих процессов ChatGPT. XIX.AI подготовила мощную, революционную подборку, прошедшую тщательные тесты в реальных условиях для обеспечения максимальной производительности. Вы найдёте подробные сравнения бесплатных и платных вариантов, а также рейтинги экспертов, которые помогут вам выбрать инструменты, которые обязательно стоит попробовать, чтобы повысить свою продуктивность и раскрыть весь потенциал ИИ. Откройте для себя их прямо сейчас!

11 инструментов
xix.ai
Образование и обучение Платформы для создания викторин с ИИ для учителей, репетиторов и программ обучения в группах
Платформы для создания викторин с ИИ для учителей, репетиторов и программ обучения в группах

2026 Latest Best AI Quiz Builder Platforms for Teachers, Tutors, and Cohort-Based Learning Programs! XIX.AI has curated a top-rated list of powerful game-changing tools that go through real-world tests to deliver accurate rankings. These must-try platforms help boost writing efficiency, streamline content creation, and simplify quiz design across all learning scenarios. Explore now to discover your perfect tool for unlocking your AI edge in teaching!

13 инструментов
xix.ai
Комментарии (1)
0/500
StephenGreen
StephenGreen 14 сентября 2026 г., 15:00:09 GMT+03:00

AMDのvLLM-ATOMプラグイン、DeepSeek-R1の推論速度を大幅に向上させるらしい。既存のワークフローを変えずにハードウェアの潜在能力を引き出すってのは嬉しい限りだ。GPUの性能を最大限に活かせるなら、ローカルでLLMを動かす際の待ち時間も減るはず。競合他社との差が開くか注目!🚀 #AMD #LLM

OR