Les garde-fous de l’IA étouffent les chercheurs en cybersécurité offensive

Pendant des mois, les dirigeants de l’IA ont mis en œuvre des protocoles de vérification stricts et des garde-fous de sécurité pour empêcher les acteurs malveillants d’exploiter leurs modèles. Cependant, ces restrictions entravent désormais les défenseurs légitimes du réseau et les chercheurs en cybersécurité offensive.

En juin, le gouvernement américain a imposé des contrôles à l’exportation sur les modèles d’IA tant attendus d’Anthropic, Mythos et Fable. Cette décision était en partie motivée par des rapports suggérant que les garde-fous des modèles contre la facilitation des cyberattaques pouvaient être contournés.

Que l’incident ait été véritablement déclenché par des préoccupations liées au jailbreak ou non, Anthropic a systématiquement présenté Mythos comme un outil cyber puissant accessible uniquement à des utilisateurs rigoureusement vérifiés sous des contraintes strictes. (Note : Les contrôles à l’exportation sur Fable 5 et Mythos 5 ont depuis été levés. Fable 5 est redevenu disponible au grand public le 1er juillet, tandis que Mythos 5 a été réintroduit exclusivement pour les organisations américaines vérifiées dans le cadre du processus d’examen du gouvernement.)

Cette approche de gardien n’est pas unique à Mythos. Anthropic et OpenAI proposent tous deux des programmes aux chercheurs en cybersécurité pour postuler à un accès vérifié, qui, s’il est approuvé, leur accorde des modèles avec moins de restrictions en matière de cybersécurité : l’Accès de Confiance pour la Cybersécurité d’OpenAI et le Programme de Vérification Cyber d’Anthropic.

Ces garde-fous ont fait l’objet de critiques généralisées, en particulier de la part des chercheurs chargés d’identifier les vulnérabilités système inconnues et de développer des exploits avant que les criminels ne le fassent.

Lors d’une récente apparition sur un podcast de cybersécurité, le célèbre chercheur en sécurité Mark Dowd a déclaré : « Ce n’est vraiment pas à mon aise que ces grandes entreprises au hasard prennent des décisions arbitraires sur ce qui est sûr en matière de sécurité et ce qui ne l’est pas. »

Dowd a passé des décennies à découvrir et à vendre des « zéro jour » — des failles logicielles précédemment inconnues et leurs exploits — aux gouvernements occidentaux plutôt qu’à les signaler aux éditeurs de logiciels pour qu’ils les corrigent. Les gouvernements paient une prime pour ces vulnérabilités parce qu’elles restent non divulguées, ce qui est précieux pour les opérations de renseignement.

Dowd a reconnu que son travail pouvait introduire un biais, mais il n’est pas seul. Plusieurs professionnels de la cybersécurité offensive, qui sondent proactivement les systèmes à la recherche de faiblesses, ont décrit à TechCrunch comment ils utilisent des outils d’IA et naviguent dans leurs garde-fous.

Chris Anley, scientifique en chef du géant du conseil en sécurité NCC Group, a expliqué que demander à un modèle d’IA de tenter d’exploiter un bug est une étape cruciale pour confirmer qu’il s’agit d’une vulnérabilité réelle qui mérite d’être corrigée. Cependant, si un garde-fou amène le modèle à refuser la demande entièrement, cela entrave les défenseurs, a-t-il noté.

« C’est là que toute la partie offensive versus défensive et garde-fous intervient, car « corrige ce code » en tant qu’invite est à la fois un mécanisme essentiel pour la défense mais aussi une feuille de route pour trouver des vulnérabilités critiques dans la base de code », a déclaré Anley. « Ainsi, en même temps, le même outil est à la fois un outil offensif et un outil défensif, et les deux ne peuvent vraiment pas être dissociés. »

C’est « comme un marteau », a-t-il continué. « Vous ne pouvez pas construire une maison sans marteau. C’est définitivement un outil, mais c’est aussi irréductiblement une arme. »

Lorsqu’ils rencontrent de tels obstacles, lui et ses collègues recourent parfois à des modèles d’IA open-source qui ne disposent d’aucun garde-fou.

Paolo Stagno, directeur technologique de CrowdFense, une entreprise prominente qui développe, acquiert et vend des vulnérabilités inconnues aux agences gouvernementales, a convenu avec Dowd, affirmant que les entreprises d’IA « traitent essentiellement les clients comme des enfants qui ont besoin d’une baby-sitter » par le biais de leurs programmes vérifiés et de leurs garde-fous.

Stagno a mentionné qu’il et son équipe utilisent des modèles de pointe pour l’ingénierie inverse mais évitent d’utiliser l’IA pour trouver des vulnérabilités ou construire des exploits. Fournir ce type de travail à des modèles basés sur le cloud risque de divulguer des données de vulnérabilité sensibles ou de les voir absorbées dans des futurs entraînements. Pour ces tâches, il utilise des modèles open-source exécutés localement pour éviter de partager des données externement.

Giuseppe Cali, un chercheur en sécurité qui découvre des zéro jour et développe des exploits, a déclaré que les garde-fous ne gênent pas son travail. Cela est parce qu’il n’utilise pas l’IA à des fins offensives ; au lieu de cela, il l’utilise pour l’ingénierie inverse initiale afin de comprendre le code analysé et de construire des outils de support. Il a noté que les outils d’IA accélèrent ce processus, lui permettant de se concentrer sur la découverte de vulnérabilités.

« Je veux toujours posséder moi-même la découverte réelle du bug et l’armement, et cela ne changerait pas si tous les garde-fous étaient levés demain », a déclaré Cali. « Je suis jaloux de mes bugs, et j’aime trop ce jeu pour laisser les modèles le jouer à ma place. »

Un chercheur dans un fabricant de composants pour smartphones, qui a parlé sous réserve d’anonymat car il n’est pas autorisé à s’adresser à la presse, a déclaré que son employeur ne fait pas partie du programme CVP d’Anthropic. Par conséquent, ses outils sont à peine utiles pour trouver des vulnérabilités en raison de garde-fous trop stricts.

« Si il apprend que nous faisons quoi que ce soit lié à la sécurité, cela s’arrête simplement et n’est pas utilisable », a déclaré la personne.

Chris Thompson, directeur général de l’entreprise de cybersécurité RemoteThreat et fondateur d’Offensive AI Con, un événement axé sur la sécurité offensive et l’IA, a noté que dans son expérience avec les modèles d’IA de pointe, les garde-fous sont incohérents et se comportent différemment chaque jour. Cela reste vrai même dans les limites plus permissives des programmes vérifiés d’Anthropic et d’OpenAI.

« Je pense que l’impact pratique est que vous passez beaucoup de temps à négocier avec le modèle au lieu de travailler sur le programme de sécurité principal », a déclaré Thompson. « Au lieu d’analyser une vulnérabilité et de raisonner sur l’exploitabilité, vous essayez de trouver pourquoi vous obtenez des résultats incohérents ou pourquoi les modèles sur-nettoient la sortie. »

En conséquence, les chercheurs s’appuient de plus en plus sur ou sont poussés vers des modèles open-source chinois comme GLM — des modèles téléchargeables gratuitement qui peuvent être exécutés localement sans vérification ou restrictions d’utilisation, selon Thompson.

« Vous avez ces chercheurs responsables qui sont repoussés des systèmes gouvernés par les États-Unis vers des systèmes appartenant à l’étranger », a-t-il déclaré. « Je pense qu’il est plus nuisible qu’utile d’avoir ces garde-fous en place. »

Plutôt que de resserrer davantage les restrictions, Thompson a exhorté les laboratoires de pointe en IA à ouvrir leurs programmes, à fournir un accès responsable et à tenir les abuseurs de leurs outils pour responsables. Sinon, a-t-il soutenu, les défenseurs perdront la course à l’IA.

« Il y a cette grande tempête qui arrive. Il y a cette grande vague d’attaques qui vont se produire à une vitesse et une échelle jamais vues auparavant », a déclaré Thompson. « Mais les mêmes cabinets de conseil en sécurité et les chercheurs légitimes qui essaient de faire la différence sont actuellement étouffés. »