Maison
Google DeepMind dévoile le framework STATIC, qui permet de multiplier par 948 la vitesse de recherche pour la recherche générative avec les grands modèles de langage (LLM)
Dans les systèmes de recommandation industriels modernes, la recherche générative (GR) basée sur des modèles linguistiques de grande envergure (LLM) remplace progressivement la recherche traditionnelle fondée sur les embeddings. Cependant, dans la pratique, cette approche se heurte à un problème majeur : le modèle génère souvent des identifiants de produit invalides ou des résultats qui enfreignent les contraintes d’inventaire, ce qui conduit à des recommandations absurdes.
Pour résoudre ce problème, des chercheurs de Google DeepMind et de YouTube ont conjointement présenté un nouveau cadre appelé STATIC (Sparse Transition Matrix Accelerated Trie Index for Constrained Decoding). Cette technique exploite des méthodes mathématiques innovantes pour accélérer le décodage sous contraintes dans les LLM d’un facteur impressionnant de 948.

Principales avancées technologiques :
Transformer l’« arbre » en « matrice »: la vérification traditionnelle des contraintes repose sur des arbres de préfixes (Trie), qui s’avèrent peu performants sur du matériel tel que les GPU et les TPU. STATIC transforme cet arbre complexe en une matrice CSR (static compressed sparse row), convertissant ainsi la vérification en une opération vectorisée que le matériel traite efficacement.
Vitesse de réponse exceptionnelle: lors de tests avec un modèle de 3 milliards de paramètres, STATIC atteint une latence par étape aussi faible que 0,033 milliseconde. C’est près de 1 000 fois plus rapide que la recherche traditionnelle basée sur un processeur (CPU) et plus de 40 fois plus rapide que les solutions existantes accélérées par le matériel.
Essai réussi sur YouTube: STATIC a été déployé dans le système de recommandation vidéo de YouTube afin de garantir que les recommandations respectent les contraintes métier, telles que la fraîcheur des vidéos (publiées au cours des sept derniers jours). Les tests ont révélé une augmentation de 5,1 % du volume de lecture des vidéos récentes, ainsi qu’une amélioration notable du taux de clics (CTR).
De plus, STATIC pallie les limites de la recherche générative pendant la phase de démarrage à froid. En imposant des contraintes de décodage précises, le modèle parvient à améliorer considérablement sa précision lorsqu’il recommande des produits entièrement nouveaux qu’il n’a jamais rencontrés auparavant.
Article connexe
Les actions américaines atteignent un jalon historique alors que les géants de l'IA et de l'aérospatiale se préparent pour leur entrée boursière à la valeur du trillion de dollars.
Elon Musk, Sam Altman et Dario Amodei, trois titans du secteur technologique, s’approchent des introductions en bourse de leurs entreprises respectives. Avec SpaceX, OpenAI et Anthropic – trois géants de l’industrie dont les valorisations approchent
La startup suédoise en intelligence artificielle Lovable Eyes atteint une valorisation de 13,2 milliards de dollars après un tour de table majeur
Alors que les outils de codage alimentés par l’intelligence artificielle gagnent en popularité, la startup suédoise Lovable a levé des fonds lors d’un tour de table majeur. L’entreprise vise à collecter 3 milliards de dollars, ce qui pourrait porter
Google teste l'agent IA Remy pour Gemini à mesure que l'accent se déplace vers le contrôle utilisateur
Selon Business Insider, Google teste Remy, un nouvel agent personnel d’IA pour Gemini. Cet outil vise à exécuter des tâches au nom des utilisateurs, rationalisant ainsi les flux de travail professionnels et les routines quotidiennes.Actuellement, Re
Recommandations de sujets spéciaux liés
commentaires (1)
Dans les systèmes de recommandation industriels modernes, la recherche générative (GR) basée sur des modèles linguistiques de grande envergure (LLM) remplace progressivement la recherche traditionnelle fondée sur les embeddings. Cependant, dans la pratique, cette approche se heurte à un problème majeur : le modèle génère souvent des identifiants de produit invalides ou des résultats qui enfreignent les contraintes d’inventaire, ce qui conduit à des recommandations absurdes.
Pour résoudre ce problème, des chercheurs de Google DeepMind et de YouTube ont conjointement présenté un nouveau cadre appelé STATIC (Sparse Transition Matrix Accelerated Trie Index for Constrained Decoding). Cette technique exploite des méthodes mathématiques innovantes pour accélérer le décodage sous contraintes dans les LLM d’un facteur impressionnant de 948.

Principales avancées technologiques :
Transformer l’« arbre » en « matrice »: la vérification traditionnelle des contraintes repose sur des arbres de préfixes (Trie), qui s’avèrent peu performants sur du matériel tel que les GPU et les TPU. STATIC transforme cet arbre complexe en une matrice CSR (static compressed sparse row), convertissant ainsi la vérification en une opération vectorisée que le matériel traite efficacement.
Vitesse de réponse exceptionnelle: lors de tests avec un modèle de 3 milliards de paramètres, STATIC atteint une latence par étape aussi faible que 0,033 milliseconde. C’est près de 1 000 fois plus rapide que la recherche traditionnelle basée sur un processeur (CPU) et plus de 40 fois plus rapide que les solutions existantes accélérées par le matériel.
Essai réussi sur YouTube: STATIC a été déployé dans le système de recommandation vidéo de YouTube afin de garantir que les recommandations respectent les contraintes métier, telles que la fraîcheur des vidéos (publiées au cours des sept derniers jours). Les tests ont révélé une augmentation de 5,1 % du volume de lecture des vidéos récentes, ainsi qu’une amélioration notable du taux de clics (CTR).
De plus, STATIC pallie les limites de la recherche générative pendant la phase de démarrage à froid. En imposant des contraintes de décodage précises, le modèle parvient à améliorer considérablement sa précision lorsqu’il recommande des produits entièrement nouveaux qu’il n’a jamais rencontrés auparavant.
Les actions américaines atteignent un jalon historique alors que les géants de l'IA et de l'aérospatiale se préparent pour leur entrée boursière à la valeur du trillion de dollars.
Elon Musk, Sam Altman et Dario Amodei, trois titans du secteur technologique, s’approchent des introductions en bourse de leurs entreprises respectives. Avec SpaceX, OpenAI et Anthropic – trois géants de l’industrie dont les valorisations approchent
La startup suédoise en intelligence artificielle Lovable Eyes atteint une valorisation de 13,2 milliards de dollars après un tour de table majeur
Alors que les outils de codage alimentés par l’intelligence artificielle gagnent en popularité, la startup suédoise Lovable a levé des fonds lors d’un tour de table majeur. L’entreprise vise à collecter 3 milliards de dollars, ce qui pourrait porter











