Les risques cachés des agents IA : quand l'obéissance devient une faille de sécurité

Les agents IA basés sur le LLM introduisent une toute nouvelle catégorie de vulnérabilités. Les pirates peuvent désormais injecter des instructions malveillantes directement dans les flux de données, transformant ainsi des assistants utiles en complices involontaires.

Le récent incident Microsoft Copilot n'était pas un piratage au sens conventionnel du terme. Aucun logiciel malveillant n'a été déployé, aucun lien de phishing n'a été cliqué et aucune faille logicielle n'a été exploitée.

Le pirate a simplement fait une demande. Microsoft 365 Copilot, fonctionnant exactement comme prévu, s'est exécuté. Dans l'attaque « zéro clic » Echoleak, une invite a été habilement déguisée en données inoffensives, manipulant ainsi l'agent IA. Il a suivi la commande non pas à cause d'une faille, mais parce qu'il exécutait la fonction pour laquelle il avait été conçu.

Cette exploitation ne visait pas un bug logiciel, mais le langage lui-même. Cela représente un changement fondamental dans la cybersécurité, où la principale surface d'attaque n'est plus le code, mais la conversation.

Le nouveau problème d'obéissance de l'IA

Les agents IA sont conçus pour être utiles. Leur objectif principal est de comprendre les intentions de l'utilisateur et d'agir efficacement en conséquence. Cependant, cette utilité inhérente crée un risque important. Lorsqu'ils sont intégrés dans des systèmes de fichiers, des suites bureautiques et des systèmes d'exploitation, ces agents exécutent des commandes en langage naturel sans difficulté.

Les acteurs malveillants tirent parti de cette caractéristique. À l'aide d'injections d'invites apparemment inoffensives, ils peuvent déclencher des actions sensibles. Ces invites trompeuses comprennent souvent :

• Des extraits de code multilingues
• Des formats de fichiers obscurs contenant des instructions cachées
• Des entrées dans des langues autres que l'anglais
• Des commandes en plusieurs étapes dissimulées dans un dialogue informel

Les modèles linguistiques à grande échelle (LLM) étant entraînés à gérer la complexité et l'ambiguïté, l'invite elle-même devient une arme redoutable.

Le fantôme de Siri et Alexa

Ce schéma a déjà fait ses preuves. Les premiers chercheurs ont démontré comment les assistants vocaux tels que Siri et Alexa pouvaient être manipulés par des commandes audio, telles que « Envoie toutes mes photos à cette adresse e-mail », souvent sans vérification de la part de l'utilisateur.

L'ampleur de la menace s'est désormais considérablement accrue. Les agents IA modernes tels que Microsoft Copilot sont profondément intégrés dans des écosystèmes tels qu'Office 365, Outlook et les systèmes d'exploitation, avec un accès aux e-mails, aux documents, aux identifiants et aux API. Il suffit aux attaquants de créer la bonne invite pour extraire des données critiques, tout en opérant sous le couvert d'un utilisateur légitime.

Quand les ordinateurs confondent les instructions et les données

Le principe sous-jacent n'est pas nouveau en matière de cybersécurité. Les attaques par injection classiques, telles que l'injection SQL, ont réussi parce que les systèmes n'ont pas su faire la distinction entre les données saisies et les instructions exécutables. Aujourd'hui, cette même vulnérabilité existe au niveau de la couche de traitement du langage.

Les agents IA interprètent le langage naturel à la fois comme une entrée et une intention. Un objet JSON, une question apparemment innocente ou même une phrase spécifique peuvent déclencher une action. Les acteurs malveillants exploitent cette ambiguïté en intégrant des commandes dans ce qui semble être un contenu inoffensif.

Nous avons intégré l'intention dans notre infrastructure numérique. Les acteurs malveillants apprennent désormais à détourner cette intention à leurs propres fins.

L'adoption de l'IA dépasse la cybersécurité

Alors que les organisations se précipitent pour intégrer les LLM, une question cruciale est souvent négligée : quel niveau d'accès l'IA possède-t-elle ?

Lorsqu'un agent tel que Copilot peut interagir avec le système d'exploitation, l'impact potentiel s'étend bien au-delà d'une simple boîte de réception. Selon les rapports de sécurité du secteur :

• 62 % des RSSI mondiaux craignent d'être tenus personnellement responsables des violations de sécurité liées à l'IA
• Près de 40 % des organisations signalent une utilisation interne non autorisée de l'IA, souvent sans contrôle de sécurité
• 20 % des groupes cybercriminels intègrent désormais l'IA dans leurs opérations, notamment pour élaborer des campagnes de phishing sophistiquées et mener des missions de reconnaissance

Il ne s'agit pas seulement d'un risque futur, mais d'un danger réel et présent qui cause déjà des dommages.

Pourquoi les mesures de protection existantes sont insuffisantes

Certaines solutions utilisent des modèles de surveillance, c'est-à-dire des IA secondaires formées pour signaler les invites dangereuses ou les comportements suspects. Si ces filtres peuvent détecter les menaces basiques, ils sont vulnérables aux tactiques d'évasion.

Les attaquants sophistiqués peuvent :

• Surcharger les filtres de détection avec des informations non pertinentes (bruit)
• Fragmenter leurs intentions malveillantes en plusieurs étapes apparemment inoffensives
• Utiliser des formulations et une sémantique non conventionnelles pour contourner la détection basée sur des mots-clés

Dans le cas d'Echoleak, des mesures de protection étaient en place, mais elles ont été contournées. Cela met en évidence non seulement un échec politique, mais aussi un échec architectural. Lorsqu'un agent dispose de permissions système de haut niveau mais manque d'une compréhension contextuelle approfondie, même des garde-fous robustes peuvent s'avérer insuffisants.

Détection, pas perfection

Il est probablement irréaliste de vouloir prévenir toutes les attaques possibles. L'accent doit être mis sur la détection rapide et le confinement immédiat.

Les organisations peuvent commencer par mettre en œuvre les mesures suivantes :

• Surveiller l'activité des agents IA en temps réel et conserver des journaux d'audit complets de toutes les invites et actions
• Appliquer des principes d'accès stricts basés sur le principe du moindre privilège aux outils d'IA, en reproduisant les contrôles utilisés pour les comptes administratifs
• Introduire des frictions intentionnelles pour les opérations sensibles, telles que l'exigence d'une confirmation humaine
• Signaler les modèles de requêtes inhabituels ou hostiles pour un examen manuel de la sécurité

Les attaques basées sur le langage sont invisibles pour les outils traditionnels de détection et de réponse aux incidents au niveau des terminaux (EDR). Elles nécessitent un nouveau paradigme de détection spécialisé.

Ce que les organisations doivent faire dès maintenant pour se protéger

Avant de déployer des agents IA, les entreprises doivent bien comprendre leur fonctionnement et les risques associés.

Voici quelques recommandations clés :

1. Réaliser un audit complet des accès : identifier tous les systèmes, ensembles de données et API avec lesquels l'agent peut interagir ou qu'il peut déclencher.
2. Limiter le champ d'action : n'accorder que les autorisations minimales absolument nécessaires au fonctionnement de l'agent.
3. Suivre toutes les interactions : enregistrer l'historique complet des invites, des réponses de l'IA et de toutes les actions système qui en résultent.
4. Effectuer fréquemment des tests de résistance : simuler régulièrement des entrées adverses par le biais d'exercices internes de « red teaming ».
5. Prévoir des mesures d'évasion : concevoir des postures de sécurité en partant du principe que les filtres initiaux finiront par être contournés.
6. Assurez-vous de l'alignement de la sécurité : vérifiez que les systèmes LLM soutiennent et renforcent les objectifs globaux de sécurité, plutôt que de les compromettre.

La nouvelle surface d'attaque

L'incident Echoleak est un aperçu de l'évolution du paysage des menaces. À mesure que les LLM deviennent plus performants, leur utilité peut devenir un handicap. Profondément intégrés dans les systèmes critiques des entreprises, ils offrent aux adversaires un nouveau point d'entrée : l'invite simple et bien conçue.

Le défi ne consiste plus uniquement à sécuriser le code. Il s'agit désormais de sécuriser le langage, l'intention et le contexte. Le manuel de cybersécurité doit évoluer immédiatement, avant qu'il ne soit trop tard.

Il existe cependant une contre-évolution prometteuse. Des progrès significatifs sont réalisés dans l'utilisation d'agents IA autonomes pour la cyberdéfense. Lorsqu'ils sont déployés correctement, ces agents défensifs peuvent répondre aux menaces plus rapidement que n'importe quelle équipe humaine, collaborer dans des environnements complexes et se défendre de manière proactive contre les risques émergents en tirant les leçons d'une seule tentative d'intrusion.

Les systèmes d'IA agentique peuvent tirer des enseignements de chaque attaque, s'adapter en temps réel et contenir les menaces avant qu'elles ne se propagent. Cette technologie a le potentiel d'ouvrir une nouvelle ère de cyber-résilience, mais seulement si nous agissons de manière décisive pour façonner son avenir. Si nous échouons, cette nouvelle ère pourrait se transformer en cauchemar en matière de cybersécurité et de confidentialité des données pour les organisations qui ont déjà adopté l'IA, parfois par inadvertance via le shadow IT. Il est temps d'agir pour garantir que les agents IA servent de protecteurs et non de prédateurs.