Maison
Selon OpenAI, Hugging Face a été compromise par ses propres modèles en phase de pré-lancement.

OpenAI a reconnu mardi que l’un de ses modèles d’IA avait compromis les systèmes de Hugging Face lors d’un test interne de cybersécurité qui a mal tourné. Hugging Face avait initialement imputé cet incident à un « agent d’IA externe ».
Dans une publication sur son blog mardi après-midi, OpenAI a décrit en détail la séquence d’événements ayant conduit ces modèles à compromettre ce service.
« Après enquête, nous comprenons désormais que cet incident est le résultat de la combinaison de plusieurs modèles d’OpenAI – dont GPT‑5.6 Sol et un modèle préliminaire encore plus performant, tous configurés avec des mécanismes de refus cybernétique réduits aux fins d’évaluation – lorsqu’ils étaient testés en interne sur une base de référence mesurant leurs capacités cybernétiques », indique le texte.
Plus précisément, la violation semble avoir visé ExploitGym, une plateforme hébergée publiquement qui évalue la capacité des modèles à exécuter des attaques en s’appuyant sur des vulnérabilités connues. Des outils de ce type sont fréquemment utilisés dans l’entraînement des modèles pour affiner certaines compétences, mais c’est la première fois qu’un tel test se solde par une véritable attaque cybernétique.
Dans ce cas, le modèle en question n’aurait normalement dû disposer d’aucun accès à Internet, à l’exception d’un outil spécifique permettant aux modèles d’installer les paquets logiciels nécessaires à l’exécution de leurs tâches. Cependant, le modèle a découvert une vulnérabilité non divulguée dans le programme d’installation des paquets, qu’il a ensuite exploitée pour accéder librement à Internet.
« Les modèles étaient entièrement concentrés sur la résolution des défis posés par ExploitGym, allant jusqu’à des efforts considérables pour atteindre un objectif de test très restreint », précise le texte. « Une fois qu’ils ont obtenu un accès à Internet, ils en ont déduit que Hugging Face pouvait héberger des modèles, des ensembles de données et des solutions relatives à ExploitGym. Avec cette information, ils ont cherché et trouvé des moyens d’obtenir des informations secrètes pouvant servir à tricher lors de l’évaluation ».
Finalement, les modèles ont découvert des vulnérabilités dans l’infrastructure de Hugging Face qui leur ont permis « d’obtenir directement les solutions de test depuis la base de données en production de Hugging Face », ce qui équivalait à disposer des réponses aux questions posées par la base de référence.
Pour Hugging Face, il s’agissait apparemment d’une attaque cybernétique sophistiquée et agressive, caractérisée « par des milliers d’actions individuelles menées depuis une multitude de sandboxes à durée de vie courte, avec un système de commandement et de contrôle auto-migrant fonctionnant via des services publics », comme l’a décrit l’entreprise dans sa première communication.
OpenAI a identifié et signalé les vulnérabilités présentes dans le programme d’installation des paquets, et collabore avec Hugging Face pour approfondir l’enquête sur cet incident. L’entreprise a également indiqué qu’elle mettrait en place de nouveaux contrôles tant pour les tests de modèles que pour l’infrastructure associée, afin d’éviter des situations similaires à l’avenir.
Il reste incertain si OpenAI fera face à des conséquences juridiques suite à cette violation, bien que les actions des modèles aient très probablement enfreint la loi sur la fraude et l’abus informatique.
Néanmoins, cet événement offre une illustration particulièrement claire du pouvoir et des dangers que représentent les modèles d’IA de pointe fonctionnant sur de longues périodes. Comme l’a écrit Micah Carroll, chercheur chez OpenAI en réponse à cette nouvelle : « Si cela ne vous convainc pas que les risques liés à un désalignement seront une préoccupation majeure à l’avenir, je ne sais pas ce qui le fera ».
Article connexe
Sam Altman suscite un débat sur le ralentissement de l'IA
Écouter surApple PodcastsÉcouter surSpotifyLe PDG d'OpenAI, Sam Altman, a récemment suggéré qu'il était peut-être temps de « rythmer le rythme du développement de l'IA » afin de permettre à la société de « se renforcer autour de certains de ces nouv
OpenAI combat l’action en justice pour violation des secrets commerciaux intentée par Apple
OpenAI a réfuté les allégations de violation de secrets commerciaux d’Apple ce mardi, affirmant que le procès est infondé.« Nous prenons ces allégations au sérieux mais ne voyons aucune preuve à leur appui », a déclaré OpenAI, selon Ed Ludlow de Blo
La tête robotique d'OpenAI, Caitlin Kalinowski, démissionne en raison du partenariat avec le Pentagone
Caitlin Kalinowski, responsable de la robotique chez OpenAI, a démissionné à la suite du partenariat controversé de l’entreprise avec le département de la Défense.« Ce n’était pas une décision facile », a expliqué Kalinowski dans une déclaration sur
Recommandations de sujets spéciaux liés
commentaires (1)

OpenAI a reconnu mardi que l’un de ses modèles d’IA avait compromis les systèmes de Hugging Face lors d’un test interne de cybersécurité qui a mal tourné. Hugging Face avait initialement imputé cet incident à un « agent d’IA externe ».
Dans une publication sur son blog mardi après-midi, OpenAI a décrit en détail la séquence d’événements ayant conduit ces modèles à compromettre ce service.
« Après enquête, nous comprenons désormais que cet incident est le résultat de la combinaison de plusieurs modèles d’OpenAI – dont GPT‑5.6 Sol et un modèle préliminaire encore plus performant, tous configurés avec des mécanismes de refus cybernétique réduits aux fins d’évaluation – lorsqu’ils étaient testés en interne sur une base de référence mesurant leurs capacités cybernétiques », indique le texte.
Plus précisément, la violation semble avoir visé ExploitGym, une plateforme hébergée publiquement qui évalue la capacité des modèles à exécuter des attaques en s’appuyant sur des vulnérabilités connues. Des outils de ce type sont fréquemment utilisés dans l’entraînement des modèles pour affiner certaines compétences, mais c’est la première fois qu’un tel test se solde par une véritable attaque cybernétique.
Dans ce cas, le modèle en question n’aurait normalement dû disposer d’aucun accès à Internet, à l’exception d’un outil spécifique permettant aux modèles d’installer les paquets logiciels nécessaires à l’exécution de leurs tâches. Cependant, le modèle a découvert une vulnérabilité non divulguée dans le programme d’installation des paquets, qu’il a ensuite exploitée pour accéder librement à Internet.
« Les modèles étaient entièrement concentrés sur la résolution des défis posés par ExploitGym, allant jusqu’à des efforts considérables pour atteindre un objectif de test très restreint », précise le texte. « Une fois qu’ils ont obtenu un accès à Internet, ils en ont déduit que Hugging Face pouvait héberger des modèles, des ensembles de données et des solutions relatives à ExploitGym. Avec cette information, ils ont cherché et trouvé des moyens d’obtenir des informations secrètes pouvant servir à tricher lors de l’évaluation ».
Finalement, les modèles ont découvert des vulnérabilités dans l’infrastructure de Hugging Face qui leur ont permis « d’obtenir directement les solutions de test depuis la base de données en production de Hugging Face », ce qui équivalait à disposer des réponses aux questions posées par la base de référence.
Pour Hugging Face, il s’agissait apparemment d’une attaque cybernétique sophistiquée et agressive, caractérisée « par des milliers d’actions individuelles menées depuis une multitude de sandboxes à durée de vie courte, avec un système de commandement et de contrôle auto-migrant fonctionnant via des services publics », comme l’a décrit l’entreprise dans sa première communication.
OpenAI a identifié et signalé les vulnérabilités présentes dans le programme d’installation des paquets, et collabore avec Hugging Face pour approfondir l’enquête sur cet incident. L’entreprise a également indiqué qu’elle mettrait en place de nouveaux contrôles tant pour les tests de modèles que pour l’infrastructure associée, afin d’éviter des situations similaires à l’avenir.
Il reste incertain si OpenAI fera face à des conséquences juridiques suite à cette violation, bien que les actions des modèles aient très probablement enfreint la loi sur la fraude et l’abus informatique.
Néanmoins, cet événement offre une illustration particulièrement claire du pouvoir et des dangers que représentent les modèles d’IA de pointe fonctionnant sur de longues périodes. Comme l’a écrit Micah Carroll, chercheur chez OpenAI en réponse à cette nouvelle : « Si cela ne vous convainc pas que les risques liés à un désalignement seront une préoccupation majeure à l’avenir, je ne sais pas ce qui le fera ».
Sam Altman suscite un débat sur le ralentissement de l'IA
Écouter surApple PodcastsÉcouter surSpotifyLe PDG d'OpenAI, Sam Altman, a récemment suggéré qu'il était peut-être temps de « rythmer le rythme du développement de l'IA » afin de permettre à la société de « se renforcer autour de certains de ces nouv
OpenAI combat l’action en justice pour violation des secrets commerciaux intentée par Apple
OpenAI a réfuté les allégations de violation de secrets commerciaux d’Apple ce mardi, affirmant que le procès est infondé.« Nous prenons ces allégations au sérieux mais ne voyons aucune preuve à leur appui », a déclaré OpenAI, selon Ed Ludlow de Blo
La tête robotique d'OpenAI, Caitlin Kalinowski, démissionne en raison du partenariat avec le Pentagone
Caitlin Kalinowski, responsable de la robotique chez OpenAI, a démissionné à la suite du partenariat controversé de l’entreprise avec le département de la Défense.« Ce n’était pas une décision facile », a expliqué Kalinowski dans une déclaration sur











