Les modèles d'IA à poids ouverts se rapprochent des performances de pointe, mais des lacunes en matière de sécurité persistent

Alors que les régulateurs débattent de la gouvernance des systèmes d’intelligence artificielle de plus en plus puissants, notamment GPT-5.6 Sol d’OpenAI et Mythos d’Anthropic, un modèle chinois à poids ouverts a considérablement réduit l’écart avec les leaders de l’industrie.

Selon un nouveau rapport du nonprofit SaferAI dédié à la sécurité de l’IA, GLM-5.2, un modèle à poids ouverts de Z.ai en Chine, devance OpenAI’s GPT-5.5 et Anthropic’s Claude Opus 4.7 en capacités cybernétiques et biologiques de seulement quelques mois. Cependant, l’écart entre les capacités de pointe et les pratiques de sécurité s’élargit.

L’évaluation de SaferAI, réalisée via l’API publique de Z.ai, a révélé que GLM-5.2 n’a refusé aucune des tâches de cybersécurité offensive ou de biologie à double usage qui lui ont été assignées. En revanche, Claude Opus 4.7 « a refusé de manière si constante que SaferAI n’a pas pu compléter CyberGym sur celui-ci du tout. » (CyberGym est un benchmark évaluant les capacités de cybersécurité, qu’OpenAI a utilisé dans l’évaluation précédant la violation de Hugging Face du mois dernier.)

Cela met en lumière une préoccupation de longue date parmi les critiques : les modèles d’IA à poids ouverts pourraient doter des attaquants potentiels de technologies hautement performantes, sans moyen de contrôler l’utilisation une fois les poids téléchargés. À mesure que les modèles à poids ouverts se rapprochent rapidement des capacités des systèmes d’IA de pointe, le débat s’est déplacé de la question de savoir s’ils peuvent rivaliser à celle de la manière dont la société gère les risques de leur mise sur le marché.

« La frontière des capacités n’est pas la frontière des risques, et nous devons donc également prendre en compte l’état des mesures d’atténuation pour évaluer correctement le risque », a déclaré Henry Papadatos, directeur exécutif de SaferAI, à TechCrunch.

Bien que Z.ai puisse appliquer des mesures de sécurité à son API hébergée, ces protections deviennent inapplicables lorsque les utilisateurs exécutent les poids sur leur propre matériel, leur permettant de supprimer ou de modifier les garde-fous, d’affiner les modèles ou de modifier les invites système.

Les développeurs de pointe comme OpenAI et Anthropic s’appuient généralement sur des garde-fous tels que les classificateurs, l’entraînement au refus et les contrôles au niveau de l’API pour limiter l’assistance cybernétique et biologique dangereuse.

Ces mesures sont loin d’être infaillibles : les jailbreaks contournent régulièrement les protections des modèles déployés. Far.ai, un nonprofit dédié à la sécurité de l’IA, a identifié des centaines de jailbreaks universels – définis comme des clés réutilisables réussissant sur la plupart des demandes nuisibles – dans des modèles de pointe comme Grok 4.5 de xAI et Gemini 3.1 Pro de Google DeepMind. Le rapport note que les jailbreaks réussissent lorsque les attaquants combinent plusieurs techniques de manipulation, y compris le jeu de rôle, l’usurpation d’autorité, l’historique de conversation fictif et les invites de suivi, pour exploiter les points faibles des défenses d’un modèle.

Cependant, les garde-fous conçus pour les modèles fermés ne fonctionnent pas sur les modèles à poids ouverts, qui sont conçus pour s’exécuter sur n’importe quelle infrastructure, avec ou sans garde-fous.

« L’objectif devrait clairement être que les bonnes capacités – les sûres – soient accessibles à tous, et ensuite nous essayons de supprimer les mauvaises, même dans une optique open source », a déclaré Papadatos.

Une technique suggérée par Papadatos est le « filtrage des données d’entraînement », où une entreprise d’IA supprime les informations cybernétiques offensives des données d’entraînement avant d’entraîner le modèle sur l’ensemble de données sélectionné.

Certaines recherches indiquent que cela peut réduire les connaissances biologiques dangereuses sans compromettre les performances globales du modèle. Cependant, le filtrage des données est beaucoup moins pratique pour la cybersécurité.

Il est difficile d’entraîner un modèle général excellent en codage sans devenir également un pirate informatique compétent. Étant donné que le codage est le principal moteur de revenus de l’IA, les développeurs font face à une pression pour améliorer ces capacités tout en cherchant des moyens de limiter les abus.

Par conséquent, les développeurs de pointe se sont de plus en plus appuyés sur d’autres mesures d’atténuation. Une approche consiste à restreindre sélectivement les types d’assistance en cybersécurité fournis par les modèles. Opus 5 d’Anthropic, par exemple, peut rechercher des vulnérabilités dans le code source non compilé mais pas dans les logiciels compilés, selon la fiche système du modèle. La justification est que cela rend plus difficile l’utilisation d’Opus 5 à des fins offensives.

D’autres mesures incluent des évaluations de sécurité rigoureuses avant le déploiement, la publication d’évaluations des risques et le retrait des poids du modèle si un système est jugé trop dangereux.

Dans le cas de GLM-5.2, SaferAI a noté que Z.ai n’a pas publié de cadre de sécurité, d’engagements de tests pré-déploiement ou d’évaluation des risques pour le modèle. TechCrunch a demandé à Z.ai s’il avait effectué des évaluations de sécurité de pointe internes ou tierces avant la publication, mais n’a reçu aucune réponse.

Les dirigeants chinois ont de plus en plus reconnu les risques des IA avancées. Lors de la Conférence mondiale sur l’IA du mois dernier, le président chinois Xi Jinping a souligné l’importance des modèles à poids ouverts tout en insistant sur la nécessité de s’assurer que l’IA reste un outil sous contrôle humain strict.

Graham Webster, qui étudie la politique chinoise en matière d’IA au Stanford Cyber Policy Center, a déclaré à TechCrunch que la Chine dispose de réglementations robustes en matière d’IA, mais que ces règles se sont historiquement concentrées sur le contenu politiquement sensible, la désinformation et la stabilité sociale plutôt que sur les risques catastrophiques liés à l’IA tels que les capacités cybernétiques offensives et les abus biologiques.

« Les penseurs américains en matière d’IA sont, en général, plus préoccupés par cette idée catastrophique existentielle que la communauté chinoise », a déclaré Webster, ajoutant que de nombreux chercheurs en politique chinoise estiment que si un risque de pointe nouveau émerge, les entreprises américaines sont susceptibles de le rencontrer en premier.

« Le système chinois a la confiance qu’il contrôle l’utilisation de ces technologies à l’intérieur de la Chine », a continué Webster. « Être en ligne en Chine est quelque chose que vous faites sous votre vrai nom, et les entreprises peuvent être tenues responsables, les utilisateurs peuvent être tenus responsables. »

Webster a suggéré que le même mécanisme utilisé par les fournisseurs de modèles pour refuser l’engagement sur certains sujets politiques pourrait potentiellement être ajusté pour s’assurer que les modèles refusent d’exécuter des attaques cybernétiques offensives ou de fournir des résultats d’ingénierie biologique néfastes. Il a ajouté que, comme les entreprises chinoises coordonnent souvent avec les régulateurs dans l’ombre, il est difficile de savoir quels tests internes elles effectuent avant la publication.

Les défenseurs des modèles à poids ouverts soutiennent que la publication des poids est cruciale pour la cybersécurité, car elle permet aux entreprises de se défendre contre les attaques – Hugging Face s’est appuyé sur GLM-5.2 pour se défendre contre la violation d’OpenAI – et les aide à se préparer aux menaces futures en comprenant ce qui arrive.

« Les mêmes systèmes qui ont aidé à arrêter une cyberattaque alimentée par l’IA peuvent maintenant aider à se défendre contre des millions d’attaques cybernétiques chaque jour, tout en nous aidant à identifier et à corriger les vulnérabilités avant que les attaquants ne les exploitent », a déclaré Clem Delangue, PDG de Hugging Face, dans un post sur les réseaux sociaux cette semaine.

Papadatos a fait valoir que cet avantage est souvent exagéré et ne justifie pas « l’ouverture-source de capacités dangereuses ».

« Le point principal à mes yeux est que nous ne devrions pas simplement accepter que des capacités dangereuses soient facilement accessibles par n’importe qui n’importe où », a-t-il déclaré, soulignant que l’industrie devrait s’efforcer de rendre uniquement les « bonnes capacités » facilement accessibles. Les attaquants adoptent de nouveaux outils plus rapidement que les défenseurs ; par exemple, un groupe de rançongiciels peut changer ses méthodes en une semaine, tandis qu’un hôpital ne le peut pas. »