Дом
Компания Moonshot AI и Университет Цинхуа представили архитектуру PrfaaS, призванную устранить «узкое место» в вычислительной мощности крупных моделей
Новые технологии позволяют преодолеть ограничения производительности крупных языковых моделей (LLM). Недавно исследователи из Moonshot AI (Moonshot) и Университета Цинхуа представили новую архитектуру под названием Prefill-as-a-Service (PrfaaS). Это исследование решает проблему аппаратных ограничений при развертывании сервисов на основе крупных моделей в центрах обработки данных за счет оптимизации распределения вычислительных ресурсов, что позволяет значительно повысить эффективность инференса.
Технический прорыв: «хирургическое» разделение этапов предварительного заполнения и декодирования
В настоящее время процесс инференса для больших языковых моделей состоит из двух отдельных фаз:
Фаза предварительного заполнения: эта фаза требует интенсивных вычислений, она обрабатывает входные данные и генерирует кэш «ключ-значение» (KVCache).
Фаза декодирования: эта фаза требует большой пропускной способности памяти и генерирует выходные данные слово за словом.
В традиционных архитектурах обе фазы обычно обрабатываются в одном и том же центре обработки данных или даже на одном и том же сервере. Поскольку они имеют разные потребности в аппаратных ресурсах, такое «принудительное объединение» часто создает дисбаланс в распределении вычислительных ресурсов и пропускной способности, что приводит к перегрузке сервиса.
Основная инновация: эффективное межрегиональное взаимодействие
Основная особенностьPrfaaS — реализация развязанного сервиса. Он переносит вычислительно-емкие задачи предварительного заполнения на специализированные кластеры с высокой вычислительной мощностью. После завершения задачи система использует стандартный Ethernet для удаленной передачи сгенерированного KVCache в локальный кластер декодирования.
Такая конструкция устраняет ограничения физического пространства, позволяя выполнять предварительное заполнение и декодирование одновременно в разных дата-центрах. Для обеспечения эффективной передачи PrfaaS использует механизм планирования с двумя временными масштабами, который гибко распределяет ресурсы с учетом колебаний трафика в реальном времени, в сочетании с точной маршрутизацией, чтобы предотвратить задержки запросов с длинным текстом из-за неравномерного распределения ресурсов.
Результаты тестирования: оптимизация пропускной способности и задержки
Данные исследований показывают, что архитектура PrfaaS демонстрирует замечательную производительность в реальных приложениях:
Пропускная способность сервиса увеличилась на 54%, что значительно повысило количество запросов, обрабатываемых за единицу времени.
Задержка ответа значительно уменьшилась, что ускорило генерацию первого токена с точки зрения пользователя.
Максимальное использование ресурсов за счет разделения вычислительных, сетевых и хранилищных подсистем, что позволяет избежать проблем с перегрузкой, характерных для традиционных архитектур.
Сотрудничество между Moonshot AI и Университетом Цинхуа не только предлагает новые инженерные подходы к крупномасштабному вычислению ИИ, но и закладывает основу для будущих межрегиональных вычислительных сетей. Эта модель Prefill-as-a-Service может стать ключевой вехой на пути к промышленному внедрению крупных моделей.
Связанная статья
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её
Google тестирует агента Remy AI для Gemini по мере смещения фокуса на управление пользователями
Согласно Business Insider, Google тестирует Remy, нового ИИ-персонального агента для Gemini. Этот инструмент предназначен для выполнения задач от имени пользователей, упрощая как профессиональные рабочие процессы, так и повседневные рутины.В настоящ
Рекомендации по связанным специальным темам
письмо
Лучшие генераторы конспектов на базе ИИ для длинных статей, оптимизированных для SEO
2026 год: лучшие и самые высокооцененные генераторы конспектов на базе ИИ для длинных SEO-статей, тщательно отобранные XIX.AI. Эти мощные инструменты обеспечивают революционную помощь в быстром создании высококачественного контента, значительно повышая эффективность написания текстов. Ознакомьтесь со сравнением бесплатных и платных версий, а также с результатами реальных тестов и подробными рейтингами, которые помогут вам найти вариант, который обязательно стоит попробовать и который соответствует вашим потребностям. Изучите их прямо сейчас, чтобы раскрыть весь потенциал ИИ.
8 инструментов
xix.ai
Образование и обучение
Инструменты на базе искусственного интеллекта для выполнения домашних заданий и подготовки к экзаменам
2026: лучшие современные инструменты на базе ИИ для выполнения домашних заданий и подготовки к экзаменам! XIX.AI подготовило рейтинг самых эффективных и революционных инструментов, которые помогают учащимся повысить продуктивность, оптимизировать выполнение домашних заданий и сдавать экзамены на «отлично», проходя проверку в реальных условиях. Получите сравнение бесплатных и платных версий, подробные рейтинги и варианты, которые обязательно стоит попробовать, чтобы раскрыть свой потенциал с помощью ИИ. Узнайте больше прямо сейчас!
10 инструментов
xix.ai
Музыкальная композиция
Инструменты для создания вокальных демо на основе ИИ для авторов песен, создания хуков, написания тоpline-мелодий и проведения многоязычных черновых сессий
2026 г. лучшие инструменты для демо-записи вокала на базе ИИ для авторов песен, создателей хуков и команд, работающих с контентом на нескольких языках! XIX.AI подготовил список высокооцененных мощных инструментов, изменивших правила игры, прошедших строгие реальные тесты. Вы найдёте подробные данные сравнения бесплатных и платных версий, комплексные рейтинги и обязательные к использованию варианты, которые помогут повысить эффективность написания и раскрыть ваш творческий потенциал. Исследуйте сейчас, чтобы найти идеальный инструмент для всех ваших задач по созданию контента!
9 инструментов
xix.ai
Бизнес
Лучшие инструменты для анализа конкурентов на основе искусственного интеллекта для малого бизнеса
2026: новейшие, лучшие и самые высокооцененные инструменты для анализа конкурентов на базе ИИ для малого бизнеса! XIX.AI подготовила чрезвычайно мощную подборку, способную кардинально изменить ситуацию на рынке, которая еженедельно обновляется на основе тщательных тестов в реальных условиях и подробных рейтингов. Вы найдете здесь исчерпывающее сравнение бесплатных и платных версий, которое поможет вам определить инструменты, которые обязательно стоит попробовать, чтобы повысить свою продуктивность и получить конкурентное преимущество. Ознакомьтесь с ней прямо сейчас, чтобы найти идеальный инструмент для себя!
9 инструментов
xix.ai
Редактирование изображений
Инструменты ИИ-ретуши в Photoshop для электронной коммерции, одежды, очистки кожи и обеспечения цветового единообразия
2026 Latest Best Photoshop AI retouch tools for ecommerce apparel, skin cleanup, and color consistency! This top-rated curated list features powerful game-changing solutions that help you boost writing efficiency, streamline content creation, and achieve perfect visual results effortlessly. Each tool has undergone real-world tests through weekly updated rankings, complete with free vs paid comparison details. Backed by XIX.AI, it’s the must-try guide for anyone aiming to unlock your AI edge. Explore now!
10 инструментов
xix.ai
Быстрый
Лучшие библиотеки подсказок для ИИ в рабочих процессах ChatGPT
2026: новейшие и лучшие библиотеки подсказок для ИИ с высоким рейтингом, предназначенные для оптимизации всех типов рабочих процессов ChatGPT. XIX.AI подготовила мощную, революционную подборку, прошедшую тщательные тесты в реальных условиях для обеспечения максимальной производительности. Вы найдёте подробные сравнения бесплатных и платных вариантов, а также рейтинги экспертов, которые помогут вам выбрать инструменты, которые обязательно стоит попробовать, чтобы повысить свою продуктивность и раскрыть весь потенциал ИИ. Откройте для себя их прямо сейчас!
11 инструментов
xix.ai
Комментарии (1)
![HarryRoberts]()
Wait, so PrfaaS separates prefill from decode? That sounds like a smart way to reduce latency, but how does it handle memory overhead? 🤔
Новые технологии позволяют преодолеть ограничения производительности крупных языковых моделей (LLM). Недавно исследователи из Moonshot AI (Moonshot) и Университета Цинхуа представили новую архитектуру под названием Prefill-as-a-Service (PrfaaS). Это исследование решает проблему аппаратных ограничений при развертывании сервисов на основе крупных моделей в центрах обработки данных за счет оптимизации распределения вычислительных ресурсов, что позволяет значительно повысить эффективность инференса.
Технический прорыв: «хирургическое» разделение этапов предварительного заполнения и декодирования
В настоящее время процесс инференса для больших языковых моделей состоит из двух отдельных фаз:
Фаза предварительного заполнения: эта фаза требует интенсивных вычислений, она обрабатывает входные данные и генерирует кэш «ключ-значение» (KVCache).
Фаза декодирования: эта фаза требует большой пропускной способности памяти и генерирует выходные данные слово за словом.
В традиционных архитектурах обе фазы обычно обрабатываются в одном и том же центре обработки данных или даже на одном и том же сервере. Поскольку они имеют разные потребности в аппаратных ресурсах, такое «принудительное объединение» часто создает дисбаланс в распределении вычислительных ресурсов и пропускной способности, что приводит к перегрузке сервиса.
Основная инновация: эффективное межрегиональное взаимодействие
Основная особенность
Такая конструкция устраняет ограничения физического пространства, позволяя выполнять предварительное заполнение и декодирование одновременно в разных дата-центрах. Для обеспечения эффективной передачи PrfaaS использует механизм планирования с двумя временными масштабами, который гибко распределяет ресурсы с учетом колебаний трафика в реальном времени, в сочетании с точной маршрутизацией, чтобы предотвратить задержки запросов с длинным текстом из-за неравномерного распределения ресурсов.
Результаты тестирования: оптимизация пропускной способности и задержки
Данные исследований показывают, что архитектура PrfaaS демонстрирует замечательную производительность в реальных приложениях:
Пропускная способность сервиса увеличилась на 54%, что значительно повысило количество запросов, обрабатываемых за единицу времени.
Задержка ответа значительно уменьшилась, что ускорило генерацию первого токена с точки зрения пользователя.
Максимальное использование ресурсов за счет разделения вычислительных, сетевых и хранилищных подсистем, что позволяет избежать проблем с перегрузкой, характерных для традиционных архитектур.
Сотрудничество между Moonshot AI и Университетом Цинхуа не только предлагает новые инженерные подходы к крупномасштабному вычислению ИИ, но и закладывает основу для будущих межрегиональных вычислительных сетей. Эта модель Prefill-as-a-Service может стать ключевой вехой на пути к промышленному внедрению крупных моделей.
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её
Google тестирует агента Remy AI для Gemini по мере смещения фокуса на управление пользователями
Согласно Business Insider, Google тестирует Remy, нового ИИ-персонального агента для Gemini. Этот инструмент предназначен для выполнения задач от имени пользователей, упрощая как профессиональные рабочие процессы, так и повседневные рутины.В настоящ
2026 год: лучшие и самые высокооцененные генераторы конспектов на базе ИИ для длинных SEO-статей, тщательно отобранные XIX.AI. Эти мощные инструменты обеспечивают революционную помощь в быстром создании высококачественного контента, значительно повышая эффективность написания текстов. Ознакомьтесь со сравнением бесплатных и платных версий, а также с результатами реальных тестов и подробными рейтингами, которые помогут вам найти вариант, который обязательно стоит попробовать и который соответствует вашим потребностям. Изучите их прямо сейчас, чтобы раскрыть весь потенциал ИИ.
8 инструментов
xix.ai
2026: лучшие современные инструменты на базе ИИ для выполнения домашних заданий и подготовки к экзаменам! XIX.AI подготовило рейтинг самых эффективных и революционных инструментов, которые помогают учащимся повысить продуктивность, оптимизировать выполнение домашних заданий и сдавать экзамены на «отлично», проходя проверку в реальных условиях. Получите сравнение бесплатных и платных версий, подробные рейтинги и варианты, которые обязательно стоит попробовать, чтобы раскрыть свой потенциал с помощью ИИ. Узнайте больше прямо сейчас!
10 инструментов
xix.ai
2026 г. лучшие инструменты для демо-записи вокала на базе ИИ для авторов песен, создателей хуков и команд, работающих с контентом на нескольких языках! XIX.AI подготовил список высокооцененных мощных инструментов, изменивших правила игры, прошедших строгие реальные тесты. Вы найдёте подробные данные сравнения бесплатных и платных версий, комплексные рейтинги и обязательные к использованию варианты, которые помогут повысить эффективность написания и раскрыть ваш творческий потенциал. Исследуйте сейчас, чтобы найти идеальный инструмент для всех ваших задач по созданию контента!
9 инструментов
xix.ai
2026: новейшие, лучшие и самые высокооцененные инструменты для анализа конкурентов на базе ИИ для малого бизнеса! XIX.AI подготовила чрезвычайно мощную подборку, способную кардинально изменить ситуацию на рынке, которая еженедельно обновляется на основе тщательных тестов в реальных условиях и подробных рейтингов. Вы найдете здесь исчерпывающее сравнение бесплатных и платных версий, которое поможет вам определить инструменты, которые обязательно стоит попробовать, чтобы повысить свою продуктивность и получить конкурентное преимущество. Ознакомьтесь с ней прямо сейчас, чтобы найти идеальный инструмент для себя!
9 инструментов
xix.ai
2026 Latest Best Photoshop AI retouch tools for ecommerce apparel, skin cleanup, and color consistency! This top-rated curated list features powerful game-changing solutions that help you boost writing efficiency, streamline content creation, and achieve perfect visual results effortlessly. Each tool has undergone real-world tests through weekly updated rankings, complete with free vs paid comparison details. Backed by XIX.AI, it’s the must-try guide for anyone aiming to unlock your AI edge. Explore now!
10 инструментов
xix.ai
2026: новейшие и лучшие библиотеки подсказок для ИИ с высоким рейтингом, предназначенные для оптимизации всех типов рабочих процессов ChatGPT. XIX.AI подготовила мощную, революционную подборку, прошедшую тщательные тесты в реальных условиях для обеспечения максимальной производительности. Вы найдёте подробные сравнения бесплатных и платных вариантов, а также рейтинги экспертов, которые помогут вам выбрать инструменты, которые обязательно стоит попробовать, чтобы повысить свою продуктивность и раскрыть весь потенциал ИИ. Откройте для себя их прямо сейчас!
11 инструментов
xix.ai
Wait, so PrfaaS separates prefill from decode? That sounds like a smart way to reduce latency, but how does it handle memory overhead? 🤔
