La mémoire procédurale réduit les coûts et la complexité des agents d'IA

Une nouvelle technique mise au point par l'université de Zhejiang et le groupe Alibaba dote les agents de grands modèles de langage (LLM) d'une mémoire dynamique, ce qui accroît leur efficacité dans la gestion de tâches complexes. Baptisée Memp, cette approche dote les agents d'une "mémoire procédurale" qui s'actualise en permanence au fur et à mesure qu'ils accumulent de l'expérience, à l'image de la manière dont les humains apprennent par la pratique répétée.

Memp établit un système d'apprentissage tout au long de la vie dans lequel les agents n'ont plus besoin de repartir de zéro pour chaque nouvelle tâche. Au fur et à mesure qu'ils sont confrontés à de nouveaux scénarios dans des environnements réels, ils s'améliorent régulièrement et deviennent plus efficaces, une caractéristique essentielle pour une automatisation fiable de l'entreprise.

L'importance de la mémoire procédurale dans les agents d'intelligence artificielle

Les agents LLM présentent un grand potentiel pour l'automatisation d'opérations commerciales complexes à plusieurs étapes. Toutefois, dans la pratique, ces tâches étendues peuvent être sujettes à des échecs. Les chercheurs soulignent que des problèmes inattendus - tels que des interruptions de réseau, des mises à jour de l'interface utilisateur ou des changements de format de données - peuvent perturber l'ensemble du flux de travail. Actuellement, cela oblige souvent les agents à recommencer à chaque fois depuis le début, ce qui entraîne des retards et des coûts plus élevés.

Dans le même temps, de nombreuses tâches complexes, même si elles semblent différentes en apparence, présentent des similitudes structurelles sous-jacentes. Plutôt que de réapprendre ces schémas à chaque fois, un agent devrait être capable de tirer parti de ses expériences passées et de les réutiliser, qu'il s'agisse de succès ou d'échecs, comme le soulignent les chercheurs. Cela nécessite une "mémoire procédurale" spécialisée, similaire à la mémoire à long terme des humains pour des compétences telles que la dactylographie ou le cyclisme, qui deviennent une seconde nature avec la répétition.

La plupart des systèmes d'agents actuels ne disposent pas de cette fonctionnalité. Leurs connaissances procédurales sont généralement programmées manuellement par les développeurs, stockées dans des modèles d'invite inflexibles ou intégrées dans les paramètres du modèle, qui sont coûteux et lents à modifier. Même les cadres existants dotés d'améliorations de la mémoire n'offrent que de larges abstractions et n'abordent pas correctement la manière dont les compétences doivent être développées, indexées, affinées et gérées tout au long du cycle de vie d'un agent.

Comme l'indiquent les chercheurs dans leur article, "il n'existe aucun moyen fondé sur des principes de quantifier l'efficacité avec laquelle un agent fait évoluer son répertoire de procédures ou de garantir que les nouvelles expériences améliorent les performances au lieu de les éroder".

Le fonctionnement de Memp

Memp est un cadre agnostique qui traite la mémoire procédurale comme un élément fondamental et optimisable. Elle fonctionne selon trois étapes fondamentales qui forment un cycle continu : la construction, la récupération et la mise à jour de la mémoire.

Les mémoires sont construites à partir des expériences passées d'un agent, ou "trajectoires". L'équipe a étudié la possibilité de stocker ces souvenirs sous deux formes : soit sous forme d'actions exactes, étape par étape, soit en résumant ces actions dans des abstractions de plus haut niveau, semblables à des scripts. Pour la récupération, lorsqu'une nouvelle tâche lui est présentée, l'agent recherche dans sa mémoire l'expérience antérieure la plus pertinente. Les chercheurs ont testé diverses méthodes, notamment la recherche vectorielle, pour aligner la description de la nouvelle tâche sur les requêtes antérieures, ou l'extraction de mots-clés pour trouver la correspondance la plus proche.

Le mécanisme de mise à jour est l'élément le plus important. Memp intègre plusieurs stratégies pour garantir l'évolution de la mémoire de l'agent. Au fur et à mesure qu'un agent accomplit des tâches, sa mémoire peut être mise à jour en y ajoutant la nouvelle expérience, en filtrant uniquement les résultats positifs ou, plus efficacement, en analysant les échecs afin de corriger et d'améliorer la mémoire d'origine.

L'accent mis sur la mémoire dynamique et adaptable situe Memp dans un domaine de recherche en plein essor, axé sur l'amélioration de la fiabilité des agents d'intelligence artificielle pour les missions à long terme. Le projet s'aligne sur d'autres initiatives, telles que Mem0, qui extrait les informations essentielles de longues conversations et les organise en faits structurés et en graphes de connaissances pour maintenir la cohérence. De même, A-MEM permet aux agents de générer et de connecter de manière autonome des "notes de mémoire" à partir de leurs interactions, construisant ainsi un réseau de connaissances sophistiqué au fil du temps.

Runnan Fang, coauteur de l'article, souligne toutefois une différence cruciale entre Memp et des cadres similaires.

"Mem0 et A-MEM sont d'excellents travaux... mais ils se concentrent sur la mémorisation de contenus saillants au sein d' une trajectoire ou d'une conversation unique", explique Fang à VentureBeat. Essentiellement, ils aident un agent à se souvenir de ce qui s'est passé. "Memp, en revanche, cible la mémoire procédurale inter-trajectoire. Elle se concentre sur les connaissances "comment faire" qui peuvent être appliquées à des tâches comparables, ce qui évite à l'agent de devoir recommencer à chaque fois à zéro.

"En distillant les flux de travail antérieurs réussis dans des antécédents procéduraux réutilisables, Memp augmente les taux de réussite et raccourcit les étapes", poursuit M. Fang. "Nous introduisons également un mécanisme de mise à jour pour que cette mémoire procédurale continue de s'améliorer - après tout, pour les agents aussi, c'est en forgeant qu'on devient forgeron".

Surmonter le défi du démarrage à froid

Si l'apprentissage à partir d'expériences passées est un concept puissant, il pose un problème pratique : comment un agent peut-il développer sa mémoire initiale en l'absence d'exemples irréprochables ? L'équipe de recherche s'attaque à ce problème de "démarrage à froid" avec une solution pratique.

Fang a décrit comment les développeurs peuvent commencer par définir une métrique d'évaluation robuste au lieu d'avoir besoin d'une trajectoire "or" parfaite dès le départ. Cette métrique, qui peut être basée sur des règles ou alimentée par un autre LLM, évalue la qualité de la performance d'un agent. "Une fois cette métrique en place, nous laissons les modèles de pointe explorer le flux de travail de l'agent et conservons les trajectoires qui obtiennent les scores les plus élevés", explique M. Fang. Cette méthode permet d'assembler rapidement une première collection de mémoires précieuses, ce qui permet à un nouvel agent de devenir compétent sans avoir besoin d'un codage manuel approfondi.

Memp en action

Pour évaluer le cadre, l'équipe a intégré Memp à des LLM de premier plan tels que GPT-4o, Claude 3.5 Sonnet et Qwen2.5, en les testant sur des tâches exigeantes telles que les tâches ménagères dans le cadre du benchmark ALFWorld et la collecte d'informations dans le cadre de TravelPlanner. Les résultats ont révélé qu'en construisant et en accédant à la mémoire procédurale, un agent pouvait résumer et réutiliser efficacement son expérience antérieure.

Lors des tests, les agents utilisant Memp ont non seulement atteint des taux de réussite plus élevés, mais ont également fonctionné de manière beaucoup plus efficace. Ils ont éliminé les explorations improductives et les conjectures, réduisant de manière significative le nombre d'étapes et l'utilisation de jetons nécessaires pour terminer une tâche.

Une découverte particulièrement intéressante pour les entreprises est que la mémoire procédurale peut être transférée. Lors d'un test, la mémoire procédurale créée par le puissant GPT-4o a été fournie à un modèle beaucoup plus petit, le Qwen2.5-14B. Les performances du petit modèle se sont nettement améliorées, augmentant son taux de réussite et réduisant les étapes nécessaires à l'accomplissement des tâches.

Selon Fang, cela est possible parce que les petits modèles gèrent généralement avec compétence les actions simples et à une seule étape, mais ont du mal à planifier et à raisonner à long terme. La mémoire procédurale du grand modèle comble efficacement cette lacune. Cela signifie qu'il est possible d'acquérir des connaissances à l'aide d'un modèle de haut niveau, puis de les appliquer à des modèles plus petits et moins coûteux, sans sacrifier les avantages de l'expérience acquise.

Vers des agents entièrement autonomes

En intégrant des fonctions de mise à jour de la mémoire, le cadre Memp permet aux agents de développer et de perfectionner en permanence leurs connaissances procédurales au fur et à mesure qu'ils travaillent dans des environnements réels. Les chercheurs ont observé que cela permettait à l'agent de "maîtriser la tâche de manière continue et presque linéaire".

Cependant, l'autonomie complète se heurte à un autre obstacle : de nombreuses tâches du monde réel, comme la production d'un rapport de recherche, n'ont pas d'indicateur de réussite clair et net. Pour continuer à s'améliorer, un agent doit savoir si sa performance est satisfaisante. M. Fang pense que la solution réside dans l'utilisation des LLM en tant qu'évaluateurs.

"Aujourd'hui, nous combinons souvent des modèles puissants avec des règles élaborées à la main pour calculer les scores d'achèvement", observe-t-il. "Cela fonctionne, mais les règles écrites à la main sont rigides et difficiles à généraliser.

Un LLM agissant comme un juge pourrait offrir le retour d'information détaillé et supervisé nécessaire à un agent pour s'auto-corriger sur des missions complexes et subjectives. Cela rendrait le processus d'apprentissage global plus évolutif et résilient, ce qui représenterait un pas essentiel vers la création de travailleurs IA durables, flexibles et véritablement autonomes, essentiels à l'automatisation avancée des entreprises.