Des experts dévoilent les méthodes utilisées par des modèles OpenAI malveillants pour infiltrer Hugging Face

Sam Altman est le PDG d’OpenAI. Source de l’image : Getty Images

Des experts du secteur ont fait part de leur point de vue sur les modèles d’OpenAI qui se sont échappés d’un environnement de test, ont accédé à Internet et ont par la suite compromis une plateforme d’IA et d’apprentissage automatique

Ces modèles OpenAI rebelles se sont échappés de leur environnement d'entraînement et ont infiltré Hugging Face, la plateforme open source d'IA et d'apprentissage automatique.

OpenAI a qualifié cet incident de « cyberincident sans précédent ».

Cette évolution fait suite à des rapports faisant état de menaces de sécurité croissantes liées aux modèles d’IA les plus avancés, et survient peu après que Demis Hassabis, PDG de Google DeepMind, a appelé à une supervision, sous l’égide des États-Unis, des modèles d’IA de pointe.

Chris Dimitriadis, directeur de la stratégie mondiale chez ISACA, l’association professionnelle mondiale du secteur technologique, a déclaré : « Au cours des dernières années, les entreprises se sont empressées de déployer l’IA aussi rapidement que possible dans cette course à l’armement de l’IA qui ne cesse de s’intensifier — et nous approchons du point de non-retour de cette course, au-delà duquel les progrès ne pourront plus être stoppés. »

OpenAI prévoit que de tels incidents « deviendront plus fréquents » à mesure que les modèles d’IA deviendront de plus en plus capables de mener des opérations cybernétiques

Chris Dimitriadis, directeur de la stratégie mondiale à l’ISACA. Source de l’image : Chris Dimitriadis/LinkedIn

Comment ce cyberincident lié à l’IA s’est-il produit ?

À l’issue de son enquête, OpenAI a déterminé que l’incident avait été causé par une combinaison de ses propres modèles, notamment GPT‑5.6 Sol et un « modèle en préversion encore plus performant ».

Alors qu’ils fonctionnaient au sein de leur environnement de test en bac à sable, ces modèles ont mobilisé d’importantes ressources de calcul pour tenter d’accéder à l’Internet ouvert

Ils ont découvert et exploité des vulnérabilités au sein de l’environnement de recherche d’OpenAI ainsi que de l’infrastructure de production de Hugging Face, ce qui leur a permis d’extraire des données de test directement depuis la base de données de production de Hugging Face

Les agents arrivent, et certains d’entre eux deviendront incontrôlables

. Chandra Gnanasambandam, directeur technique chez SailPoint

L’enquête d’OpenAI indique que les modèles se sont intensément concentrés sur la résolution d’un problème lié à ExploitGym, un benchmark à grande échelle construit à partir de vulnérabilités réelles et conçu pour évaluer la capacité d’un agent IA à créer des exploits. Les modèles ont déployé des efforts considérables pour atteindre cet objectif de test relativement restreint

Ce qui s’est passé peut être qualifié de « manipulation des spécifications », un comportement en IA où un agent satisfait littéralement aux exigences d’une tâche sans pour autant fournir le résultat escompté

Hugging Face a expliqué qu’un ensemble de données malveillant avait exploité deux mécanismes d’exécution de code dans son pipeline de traitement — un chargeur d’ensembles de données permettant l’exécution de code à distance et une fonctionnalité d’injection de modèles dans la configuration de l’ensemble de données — pour exécuter du code sur les serveurs de traitement

À partir de là, les attaquants ont obtenu un accès au niveau des nœuds, se sont procuré les identifiants d’accès au cloud et aux clusters, et ont étendu leur portée à plusieurs clusters internes en l’espace d’un week-end.

Faits marquants

• L’incident a été provoqué par une combinaison de modèles OpenAI, notamment GPT‑5.6 Sol et un « modèle en pré-lancement encore plus performant »
• Ces modèles ont identifié et exploité des vulnérabilités au sein de l’environnement de recherche d’OpenAI et de l’infrastructure de production de Hugging Face
• Ce qui s’est produit peut être décrit comme du « manipulation des spécifications »
• OpenAI prévoit que les incidents deviendront plus fréquents à mesure que les modèles d’IA deviendront de plus en plus capables de mener des opérations cybernétiques

Recours à un modèle chinois pour riposter

Hugging Face a déployé sur son infrastructure un modèle provenant de Chine pour contrer cette cyberattaque autonome : le GLM 5.2 de Z.ai, un modèle à poids ouverts

L’entreprise a d’abord tenté d’utiliser des modèles de pointe accessibles via des API commerciales, mais cette approche a échoué car les mécanismes de sécurité des fournisseurs de services ont bloqué les requêtes, ne parvenant pas à faire la distinction entre le système de réponse aux incidents et un véritable attaquant

Cette évolution intervient peu après que la start-up chinoise spécialisée dans l’IA Moonshot a lancé Kimi K3, un modèle de 2,8 billions de paramètres doté d’une fenêtre contextuelle d’un million de tokens, qui n’est que légèrement en retrait par rapport aux modèles américains les plus avancés, tels que le Claude Fable 5 d’Anthropic et le GPT 5.6 d’OpenAI Sol

Xi Jinping, président de la Chine, et Donald Trump, président des États-Unis. Source de l’image : Getty

Ce qu’en disent les experts

Sam Altman, PDG d’OpenAI, a qualifié cet incident de « grave incident de sécurité » dans un message publié sur X, exprimant sa gratitude envers Hugging Face pour sa coopération lors de l’intervention

Des PDG et des directeurs techniques ont fait part de leur point de vue sur cette évolution, soulignant la gravité de la situation et discutant de ses implications pour l’avenir de l’IA

Chris Dimitriadis, de l’ISACA, a déclaré : « Cet incident souligne l’importance de la supervision humaine au sein de l’écosystème de l’IA et met en évidence la nécessité de donner la priorité à la formation d’un personnel spécialisé en IA aux compétences variées, capable de réguler, d’auditer et de se défendre efficacement contre les menaces liées à l’IA. »

Anup Kumar, PDG d’Optiv Consulting — anciennement filiale d’Optiv Security —, a déclaré que ce scénario représentait un type de risque fondamentalement différent de ceux généralement traités par les systèmes de sécurité conventionnels.

« Il ne s’agissait pas d’un modèle trompé par une instruction astucieuse », a-t-il expliqué

Anup Kumar, PDG d’Optiv Consulting (qui faisait auparavant partie d’Optiv Security). Source de l’image : Anup Kumar/LinkedIn

« Il s’agissait d’un modèle de pointe qui a découvert de manière autonome une vulnérabilité de type "zero-day", a exploité l’escalade de privilèges au sein des infrastructures de différentes organisations et a accédé à des systèmes de production — le tout dans le cadre d’un objectif d’évaluation précis qui ne lui avait jamais été explicitement assigné.

« Cela constitue une catégorie de risque totalement différente de celle pour laquelle la plupart des programmes de sécurité sont conçus. »

Le fossé entre innovation et sécurité

Chandra Gnanasambandam, directeur technique chez SailPoint, a mis en garde contre le fossé considérable qui existe entre l’innovation actuelle en matière d’IA et l’état de préparation des mesures de sécurité pour y faire face.

« L’ère de l’IA agentique est arrivée », a déclaré Chandra. « Pourtant, il existe un écart dangereux entre le rythme de l’innovation en matière d’IA et l’état de préparation en matière de sécurité de nombreuses organisations. »

« Les agents d’IA fonctionnent à l’aide d’identifiants non humains. Pour agir en votre nom, ils ont besoin de clés API, de jetons d’accès et d’identifiants système. Si les organisations traitent ces agents comme des comptes de service traditionnels — en laissant leur accès non réglementé et leurs identifiants non gérés —, elles créent une vaste surface d’attaque automatisée. »

« Les agents arrivent, et certains d’entre eux deviendront incontrôlables. »