Дом
Google DeepMind представила фреймворк STATIC, позволяющий в 948 раз увеличить скорость поиска при генеративном поиске с использованием больших языковых моделей (LLM)
В современных промышленных системах рекомендаций генеративный поиск (GR) на основе крупных языковых моделей (LLM) постепенно вытесняет традиционный поиск на основе вложений. Однако на практике этот подход сталкивается с серьезной проблемой: модель часто генерирует недопустимые идентификаторы товаров или результаты, нарушающие ограничения по запасам, что приводит к бессмысленным рекомендациям.
Для решения этой проблемы исследователи из Google DeepMind и YouTube совместно представили новую архитектуру под названием STATIC (Sparse Transition Matrix Accelerated Trie Index for Constrained Decoding). Эта технология использует инновационные математические методы, позволяющие ускорить декодирование с ограничениями в LLM в 948 раз.

Ключевые технологические прорывы:
Превращение «дерева» в «матрицу»: традиционная проверка ограничений опирается на префиксные деревья (Trie), которые работают неэффективно на аппаратных средствах, таких как GPU и TPU. STATIC преобразует сложное дерево в статическую сжатую разреженную матрицу строк (CSR), превращая проверку в векторизованную операцию, с которой аппаратное обеспечение справляется эффективно.
Исключительная скорость отклика: в тестах с моделью, содержащей 3 миллиарда параметров, STATIC достигает задержки на одном шаге всего 0,033 миллисекунды. Это почти в 1 000 раз быстрее, чем традиционный поиск на базе ЦП, и более чем в 40 раз быстрее, чем существующие решения с аппаратным ускорением.
Успешное испытание на YouTube: STATIC был внедрен в систему рекомендаций видео на YouTube, чтобы гарантировать соответствие рекомендаций бизнес-ограничениям, таким как свежесть видео (не старше семи дней). Тестирование показало рост объема просмотров свежих видео на 5,1%, а также заметное улучшение коэффициента кликов (CTR).
Кроме того, STATIC устраняет ограничения генеративного поиска на этапе «холодного старта». Благодаря применению точных ограничений декодирования модель достигает значительного повышения точности при рекомендации совершенно новых продуктов, с которыми она ранее не сталкивалась.
Связанная статья
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её
Google тестирует агента Remy AI для Gemini по мере смещения фокуса на управление пользователями
Согласно Business Insider, Google тестирует Remy, нового ИИ-персонального агента для Gemini. Этот инструмент предназначен для выполнения задач от имени пользователей, упрощая как профессиональные рабочие процессы, так и повседневные рутины.В настоящ
Рекомендации по связанным специальным темам
Комментарии (1)
В современных промышленных системах рекомендаций генеративный поиск (GR) на основе крупных языковых моделей (LLM) постепенно вытесняет традиционный поиск на основе вложений. Однако на практике этот подход сталкивается с серьезной проблемой: модель часто генерирует недопустимые идентификаторы товаров или результаты, нарушающие ограничения по запасам, что приводит к бессмысленным рекомендациям.
Для решения этой проблемы исследователи из Google DeepMind и YouTube совместно представили новую архитектуру под названием STATIC (Sparse Transition Matrix Accelerated Trie Index for Constrained Decoding). Эта технология использует инновационные математические методы, позволяющие ускорить декодирование с ограничениями в LLM в 948 раз.

Ключевые технологические прорывы:
Превращение «дерева» в «матрицу»: традиционная проверка ограничений опирается на префиксные деревья (Trie), которые работают неэффективно на аппаратных средствах, таких как GPU и TPU. STATIC преобразует сложное дерево в статическую сжатую разреженную матрицу строк (CSR), превращая проверку в векторизованную операцию, с которой аппаратное обеспечение справляется эффективно.
Исключительная скорость отклика: в тестах с моделью, содержащей 3 миллиарда параметров, STATIC достигает задержки на одном шаге всего 0,033 миллисекунды. Это почти в 1 000 раз быстрее, чем традиционный поиск на базе ЦП, и более чем в 40 раз быстрее, чем существующие решения с аппаратным ускорением.
Успешное испытание на YouTube: STATIC был внедрен в систему рекомендаций видео на YouTube, чтобы гарантировать соответствие рекомендаций бизнес-ограничениям, таким как свежесть видео (не старше семи дней). Тестирование показало рост объема просмотров свежих видео на 5,1%, а также заметное улучшение коэффициента кликов (CTR).
Кроме того, STATIC устраняет ограничения генеративного поиска на этапе «холодного старта». Благодаря применению точных ограничений декодирования модель достигает значительного повышения точности при рекомендации совершенно новых продуктов, с которыми она ранее не сталкивалась.
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её











