Des opportunités et des obstacles émergent alors que l'équipe Red Team AI cherche à construire des modèles plus sûrs et plus intelligents pour demain.

Note de l'éditeur : Louis animera une table ronde éditoriale sur ce sujet à VB Transform dans le courant du mois. Inscrivez-vous dès maintenant.

Les modèles d'IA sont confrontés à des attaques incessantes. Avec 77 % des entreprises déjà ciblées par des assauts adverses, dont 41 % impliquent des injections rapides et des empoisonnements de données, les méthodes des attaquants progressent plus rapidement que les cyberdéfenses actuelles.

Pour inverser la tendance, nous devons repenser fondamentalement la façon dont la sécurité est intégrée dans les modèles d'IA actuels. Les équipes DevOps doivent passer de postures réactionnaires à l'intégration de tests contradictoires continus tout au long du cycle de développement.

Placer le Red Teaming au cœur de la défense de l'IA

La protection des grands modèles de langage (LLM) tout au long des cycles DevOps nécessite l'intégration du red teaming en tant que pratique de base. Au lieu de traiter la sécurité comme un point de contrôle final - ce qui est courant dans les pipelines d'applications web - des tests contradictoires continus doivent être intégrés à chaque phase du cycle de vie du développement logiciel (SDLC).

Une approche DevSecOps plus intégrée devient essentielle pour contrer les menaces croissantes telles que l'injection rapide, l'empoisonnement des données et la fuite d'informations sensibles. Ces attaques dangereuses sont de plus en plus courantes - elles se produisent de la conception du modèle au déploiement - ce qui souligne l'urgence d'une surveillance constante.

Les récentes lignes directrices de Microsoft sur la planification des exercices de l'équipe rouge pour les LLM et leurs applications offrent un point de départ solide pour un processus de sécurité intégré. De même, le cadre de gestion des risques liés à l'IA du NIST préconise une approche proactive, axée sur le cycle de vie, des tests d'adversité et de la réduction des risques. Les tests effectués par Microsoft sur plus de 100 produits d'IA générative renforcent la nécessité de combiner la détection automatisée des menaces avec l'analyse d'experts tout au long du développement du modèle.

Étant donné que des réglementations telles que la loi européenne sur l'IA imposent des exigences strictes en matière de tests contradictoires, le red teaming continu permet non seulement de garantir la conformité, mais aussi d'améliorer la résilience globale de la sécurité.

OpenAI incorpore un red teaming externe depuis la conception initiale jusqu'au déploiement, validant ainsi le fait que des tests de sécurité cohérents et préventifs sont essentiels au succès du développement d'un LLM.

Pourquoi la cybersécurité classique n'est pas à la hauteur des menaces de l'IA

Les méthodes traditionnelles de cybersécurité ne parviennent pas à contrer les attaques basées sur l'IA, car ces menaces fonctionnent selon des principes totalement différents. Comme les tactiques adverses dépassent les défenses conventionnelles, de nouvelles techniques d'équipe rouge sont nécessaires. Voici plusieurs méthodes d'attaque spécialement conçues pour cibler les modèles d'IA pendant les cycles DevOps et après le déploiement :

• Empoisonnement des données : Les attaquants introduisent des données malveillantes ou biaisées dans les ensembles de données d'entraînement, ce qui entraîne un apprentissage imprécis des modèles d'IA. Cela crée des erreurs persistantes et des failles opérationnelles qui peuvent passer inaperçues, érodant ainsi la confiance dans les résultats obtenus par l'IA.
• Évasion de modèle : Les adversaires modifient subtilement les données d'entrée pour contourner les mécanismes de détection, en exploitant les limites des règles statiques et des systèmes de sécurité basés sur des modèles.
• Inversion de modèle : Grâce à des requêtes répétées et systématiques, les attaquants peuvent reconstituer ou exposer les données confidentielles utilisées pour la formation, ce qui entraîne de graves atteintes à la vie privée.
• Injection rapide : Les attaquants conçoivent des entrées qui manipulent l'IA générative de manière à ce qu'elle ignore les mesures de protection, produisant potentiellement un contenu nuisible, non intentionnel ou non autorisé.
• Risques liés au double usage : Comme le souligne le récent document intitulé Benchmark Early and Red Team Often : A Framework for Assessing and Managing Dual-Use Hazards of AI Foundation Models, des chercheurs du Center for Long-Term Cybersecurity de l'université de Berkeley mettent en garde contre le fait que les modèles d'IA avancés abaissent la barrière qui empêche les non-experts d'exécuter des cyberattaques complexes, des menaces chimiques ou d'autres exploits dangereux, ce qui amplifie considérablement les risques à l'échelle mondiale.

La nature interconnectée des opérations intégrées d'apprentissage automatique (MLOps) amplifie encore ces risques. Le LLM et les pipelines de développement de l'IA élargissent la surface d'attaque, ce qui exige des pratiques d'équipe rouge plus sophistiquées.

Pour contrer ces menaces IA en constante évolution, les responsables de la cybersécurité adoptent des tests contradictoires continus. Les exercices structurés en équipe rouge qui simulent des attaques d'IA réelles sont désormais essentiels pour identifier les faiblesses cachées et combler les lacunes de sécurité avant qu'elles ne soient exploitées.

Comment les organisations leaders en matière d'IA utilisent le Red Teaming pour devancer les attaquants

Les adversaires utilisent de plus en plus l'IA pour développer des méthodes d'attaque sans précédent qui échappent aux contrôles de sécurité traditionnels. Leur objectif est de découvrir et d'exploiter le plus grand nombre possible de vulnérabilités émergentes.

En réponse, les grandes entreprises d'IA ont fait du red teaming systématique la pierre angulaire de leur stratégie de sécurité. Plutôt que de procéder à un red teaming sporadique, elles mettent en œuvre des tests contradictoires continus qui combinent l'expertise humaine, l'automatisation disciplinée et les évaluations itératives de l'homme dans la boucle. Cette approche proactive permet d'identifier et de neutraliser les menaces avant qu'elles ne deviennent des armes.

Grâce à des méthodologies de test rigoureuses, ces leaders identifient systématiquement les faiblesses et renforcent leurs modèles par rapport à des scénarios adverses réels.

Les principales approches sont les suivantes

• Anthropic s'appuie sur une évaluation humaine rigoureuse dans le cadre de son processus continu de red-teaming. En intégrant des évaluations humaines en boucle à des attaques adverses automatisées, l'entreprise découvre de manière proactive les vulnérabilités et améliore en permanence la fiabilité et l'interprétabilité de ses modèles.

• Meta renforce la sécurité grâce à une approche axée sur l'automatisation. Son système MART (Multi-round Automatic Red-Teaming) génère de manière itérative des messages contradictoires, identifiant rapidement les failles cachées et réduisant les vecteurs d'attaque dans les déploiements d'IA à grande échelle.

• Microsoft s'appuie sur une collaboration interdisciplinaire pour assurer l'efficacité de l'équipe rouge. Grâce à son kit d'identification des risques Python (PyRIT), Microsoft associe son savoir-faire en matière de cybersécurité à des analyses avancées et à une validation humaine, ce qui permet d'accélérer la découverte des vulnérabilités et de fournir des informations exploitables pour renforcer la résilience des modèles.

• OpenAI fait appel à des experts mondiaux en sécurité pour améliorer les défenses de l'IA à grande échelle. En combinant les connaissances de spécialistes externes avec des tests contradictoires automatisés et des cycles de validation humaine, OpenAI s'attaque aux menaces sophistiquées - en particulier les risques de désinformation et d'injection rapide - afin de maintenir des performances de modèle robustes et fiables.

En fait, les principales organisations d'IA reconnaissent que pour garder une longueur d'avance sur les attaquants, il faut déployer des efforts constants et proactifs. En intégrant une supervision humaine structurée, une automatisation disciplinée et un raffinement itératif dans leurs efforts de red teaming, ces entreprises établissent une référence pour la construction de systèmes d'IA résilients et dignes de confiance.

Cinq stratégies actionnables pour renforcer la sécurité de l'IA dès maintenant

Alors que les attaques contre les LLM et les modèles d'IA gagnent en complexité, les équipes DevOps et DevSecOps doivent collaborer étroitement pour renforcer la sécurité de l'IA. VentureBeat recommande ces cinq stratégies à fort impact que les responsables de la sécurité peuvent mettre en œuvre immédiatement :

1. Intégrer la sécurité dès le début (Anthropic, OpenAI)
   Intégrer des tests contradictoires directement dans la phase de conception initiale et les maintenir tout au long du cycle de vie du modèle. La détection précoce des vulnérabilités réduit les risques, minimise les perturbations et diminue les coûts à long terme.

• Déployer une surveillance adaptative en temps réel (Microsoft)
  Les défenses statiques sont insuffisantes contre les menaces avancées de l'IA. Utilisez des outils de surveillance continue alimentés par l'IA comme CyberAlly pour détecter rapidement les anomalies subtiles, réduisant ainsi la fenêtre d'exploitation.

• Équilibrer l'automatisation et le jugement humain (Meta, Microsoft)
  L'automatisation seule manque de nuances, et les tests manuels ne sont pas évolutifs. Combinez les analyses contradictoires automatisées et les évaluations des vulnérabilités avec des analyses d'experts pour garantir des résultats précis et exploitables.

• Engager régulièrement des équipes rouges externes (OpenAI)
  Les équipes internes peuvent développer des angles morts. Des évaluations périodiques par des équipes rouges externes permettent de découvrir des faiblesses négligées, de fournir une validation indépendante et d'apporter des améliorations continues à la sécurité.

• Maintenir une veille dynamique sur les menaces (Meta, Microsoft, OpenAI)
  Les attaquants affinent constamment leurs méthodes. Intégrez continuellement des renseignements sur les menaces en temps réel, des analyses automatisées et des avis d'experts pour mettre à jour et renforcer vos mesures défensives de manière proactive.

Ensemble, ces stratégies aident les flux de travail DevOps à rester résilients et sécurisés face à l'évolution rapide des menaces adverses.

Le Red Teaming est désormais essentiel, et non plus facultatif

Les menaces liées à l'IA sont devenues trop sophistiquées et trop fréquentes pour que la cybersécurité traditionnelle et réactive puisse les gérer efficacement. Pour conserver un avantage défensif, les entreprises doivent intégrer des tests continus sur les adversaires à chaque étape du développement d'un modèle. En équilibrant l'automatisation avec la perspicacité humaine et en adaptant les défenses de manière dynamique, les principaux fournisseurs d'IA démontrent qu'une sécurité solide et une innovation rapide peuvent aller de pair.

En fin de compte, le red teaming va au-delà de la simple protection des modèles d'IA : il s'agit d'instaurer la confiance, la résilience et l'assurance dans un avenir dominé par l'IA.

Participez à la discussion lors de Transform 2025

J'animerai deux tables rondes sur la cybersécurité lors de l'événement Transform 2025 de VentureBeat, qui se tiendra les 24 et 25 juin à Fort Mason, à San Francisco. Inscrivez-vous dès maintenant pour y participer.

Une session, intitulée AI Red Teaming and Adversarial Testing, explorera les stratégies de test et de renforcement des solutions de cybersécurité alimentées par l'IA contre les menaces adverses avancées.