구글 딥마인드, LLM 생성형 검색의 검색 속도를 948배 향상시키는 STATIC 프레임워크 공개
현대 산업용 추천 시스템에서, 대규모 언어 모델(LLM) 기반의 생성형 검색(GR)이 기존의 임베딩 기반 검색을 점차 대체하고 있습니다. 그러나 실제로 이 접근 방식은 중대한 문제에 직면해 있습니다. 모델이 종종 유효하지 않은 상품 ID를 생성하거나 재고 제약 조건을 위반하는 결과를 산출하여, 터무니없는 추천을 내놓는 경우가 많기 때문입니다.
이 문제를 해결하기 위해 Google DeepMind와 YouTube의 연구진은 STATIC (Sparse Transition Matrix Accelerated Trie Index for Constrained Decoding)이라는 새로운 프레임워크를 공동으로 제안했습니다. 이 기술은 혁신적인 수학적 방법을 활용하여 LLM의 제약 조건 하 디코딩 속도를 무려 948배나 가속화합니다.

주요 기술적 혁신:
'트리'를 '행렬'로 변환: 기존의 제약 조건 검증은 접두사 트리(Trie)에 의존하는데, 이는 GPU나 TPU와 같은 하드웨어에서 비효율적으로 작동합니다. STATIC은 복잡한 트리를 정적 압축 스파스 행(CSR) 행렬로 변환하여, 검증을 하드웨어가 효율적으로 처리할 수 있는 벡터화 연산으로 바꿉니다.
탁월한 응답 속도: 30억 매개변수 모델을 대상으로 한 테스트에서 STATIC은 단일 단계 지연 시간을 0.033밀리초까지 단축했습니다. 이는 기존 CPU 기반 검색보다 거의 1,000배, 기존 하드웨어 가속 솔루션보다 40배 이상 빠른 속도입니다.
YouTube의 성공적인 시범 운영: STATIC은 YouTube의 동영상 추천 시스템에 도입되어, 지난 7일 이내의 최신 동영상과 같은 비즈니스 제약 조건을 충족하는 추천을 보장합니다. 테스트 결과, 최신 동영상의 재생 횟수가 5.1% 증가했으며 클릭률(CTR)도 현저히 개선된 것으로 나타났습니다.
또한, STATIC은 콜드 스타트 단계에서 발생하는 생성형 검색의 한계를 해결합니다. 정밀한 디코딩 제약 조건을 적용함으로써, 이 모델은 이전에 한 번도 접해본 적 없는 완전히 새로운 제품을 추천할 때 정확도를 크게 향상시킵니다.
관련 기사
Slackbot이 AI 에이전트가 됩니다
Salesforce의 기업용 메시징 플랫폼인 Slack에 내장된 자동 비서 Slackbot이 AI 에이전트로 진화하고 있습니다. Salesforce의 CTO인 Parker Harris는 이것이 OpenAI의 ChatGPT에 버금가는 바이럴 현상을 달성할 것으로 전망합니다.클라우드 소프트웨어 거대 기업인 Salesforce는 화요일 업데이트된 Slackbot을 출시했습니다. Business+ 및 Enterprise+ 고객에게 제공되는 이 새로운
ByteDance, Doubao 14.6% 급증에 핵심 AI 인센티브 강화
ByteDance는 최근 DouBao 지주 설명회를 소집하여 DouBao 부서에 종사하는 직원들을 위한 새로운 인센티브 정책을 공개했다. DouBao 주식의 행사가액은 2026년 6월의 14.85달러에서 17.02달러로 인상되었으며, 이는 약 14.6%의 증가를 의미한다.이번 개정은 DouBao 주식의 가치를 높일 뿐만 아니라 그 분배 범위를 크게 확대한다. 개인의 역할에 따라 일부 직원은 총 보상액의 약 5%에 해당하는 DouBao 주식을
MiniMax, 전 세계 AI 전문가들을 장려하기 위해 10배 팀 프로그램을 공개합니다
MiniMax(시위 테크놀로지)의 범용 인공지능 연구소는 글로벌 인재 협력 프로그램인 '10x 팀'을 공식적으로 출시했습니다. 이 프로그램은 다양한 산업 분야의 최고 전문가들을 모집하여 대형 모델의 전문 수직 분야에 대한 심층적인 응용을 탐구하는 것을 목표로 합니다. 심층적인 산업 지식과 최첨단 AI를 통합함으로써 MiniMax는 대형 모델의 생산성을 일반적인 사용에서 전문적인 시나리오로 확장하여 궁극적으로 산업 효율성의 '10배 증가'를 주도
관련 특별 주제 추천
의견 (1)
0/500
현대 산업용 추천 시스템에서, 대규모 언어 모델(LLM) 기반의 생성형 검색(GR)이 기존의 임베딩 기반 검색을 점차 대체하고 있습니다. 그러나 실제로 이 접근 방식은 중대한 문제에 직면해 있습니다. 모델이 종종 유효하지 않은 상품 ID를 생성하거나 재고 제약 조건을 위반하는 결과를 산출하여, 터무니없는 추천을 내놓는 경우가 많기 때문입니다.
이 문제를 해결하기 위해 Google DeepMind와 YouTube의 연구진은 STATIC (Sparse Transition Matrix Accelerated Trie Index for Constrained Decoding)이라는 새로운 프레임워크를 공동으로 제안했습니다. 이 기술은 혁신적인 수학적 방법을 활용하여 LLM의 제약 조건 하 디코딩 속도를 무려 948배나 가속화합니다.

주요 기술적 혁신:
'트리'를 '행렬'로 변환: 기존의 제약 조건 검증은 접두사 트리(Trie)에 의존하는데, 이는 GPU나 TPU와 같은 하드웨어에서 비효율적으로 작동합니다. STATIC은 복잡한 트리를 정적 압축 스파스 행(CSR) 행렬로 변환하여, 검증을 하드웨어가 효율적으로 처리할 수 있는 벡터화 연산으로 바꿉니다.
탁월한 응답 속도: 30억 매개변수 모델을 대상으로 한 테스트에서 STATIC은 단일 단계 지연 시간을 0.033밀리초까지 단축했습니다. 이는 기존 CPU 기반 검색보다 거의 1,000배, 기존 하드웨어 가속 솔루션보다 40배 이상 빠른 속도입니다.
YouTube의 성공적인 시범 운영: STATIC은 YouTube의 동영상 추천 시스템에 도입되어, 지난 7일 이내의 최신 동영상과 같은 비즈니스 제약 조건을 충족하는 추천을 보장합니다. 테스트 결과, 최신 동영상의 재생 횟수가 5.1% 증가했으며 클릭률(CTR)도 현저히 개선된 것으로 나타났습니다.
또한, STATIC은 콜드 스타트 단계에서 발생하는 생성형 검색의 한계를 해결합니다. 정밀한 디코딩 제약 조건을 적용함으로써, 이 모델은 이전에 한 번도 접해본 적 없는 완전히 새로운 제품을 추천할 때 정확도를 크게 향상시킵니다.
Slackbot이 AI 에이전트가 됩니다
Salesforce의 기업용 메시징 플랫폼인 Slack에 내장된 자동 비서 Slackbot이 AI 에이전트로 진화하고 있습니다. Salesforce의 CTO인 Parker Harris는 이것이 OpenAI의 ChatGPT에 버금가는 바이럴 현상을 달성할 것으로 전망합니다.클라우드 소프트웨어 거대 기업인 Salesforce는 화요일 업데이트된 Slackbot을 출시했습니다. Business+ 및 Enterprise+ 고객에게 제공되는 이 새로운
ByteDance, Doubao 14.6% 급증에 핵심 AI 인센티브 강화
ByteDance는 최근 DouBao 지주 설명회를 소집하여 DouBao 부서에 종사하는 직원들을 위한 새로운 인센티브 정책을 공개했다. DouBao 주식의 행사가액은 2026년 6월의 14.85달러에서 17.02달러로 인상되었으며, 이는 약 14.6%의 증가를 의미한다.이번 개정은 DouBao 주식의 가치를 높일 뿐만 아니라 그 분배 범위를 크게 확대한다. 개인의 역할에 따라 일부 직원은 총 보상액의 약 5%에 해당하는 DouBao 주식을
MiniMax, 전 세계 AI 전문가들을 장려하기 위해 10배 팀 프로그램을 공개합니다
MiniMax(시위 테크놀로지)의 범용 인공지능 연구소는 글로벌 인재 협력 프로그램인 '10x 팀'을 공식적으로 출시했습니다. 이 프로그램은 다양한 산업 분야의 최고 전문가들을 모집하여 대형 모델의 전문 수직 분야에 대한 심층적인 응용을 탐구하는 것을 목표로 합니다. 심층적인 산업 지식과 최첨단 AI를 통합함으로써 MiniMax는 대형 모델의 생산성을 일반적인 사용에서 전문적인 시나리오로 확장하여 궁극적으로 산업 효율성의 '10배 증가'를 주도





집






