Maison
Une erreur humaine d’OpenAI déclenche une attaque informatique par intelligence artificielle sur Hugging Face

Mardi, OpenAI a révélé que l’un de ses modèles d’IA avait piraté les systèmes de la plateforme de jeux de données Hugging Face lors d’un test, marquant une étape importante dans les attaques entièrement automatisées pilotées par l’IA.
Cependant, des experts en cybersécurité affirment que, malgré le rôle de l’IA, la cause racine était une erreur humaine : OpenAI n’a pas correctement configuré son « environnement hautement isolé », permettant à un bac à sable de test censé être hors ligne de se connecter à Internet.
Dan Guido, fondateur de la société de cybersécurité Trail of Bits, a décrit cet oubli comme « une défaillance du confinement avec les dispositifs de sécurité désactivés ».
Dans un article de blog détaillant l’incident, OpenAI a déclaré que le test s’exécutant dans « un environnement hautement isolé » était conçu pour restreindre l’accès réseau à l’installation de packages via un logiciel tiers hébergé en interne agissant comme proxy et cache pour les registres de packages.
Selon OpenAI, le modèle a exploité une vulnérabilité précédemment non divulguée dans le système d’installation de packages pour s’échapper de l’environnement sandboxed, une étape critique dans le piratage ultérieur de Hugging Face.
L’entreprise a répondu en « divulguant de manière responsable la vulnérabilité zero-day identifiée dans le logiciel tiers hébergé en interne et travaille avec eux pour le corriger ».
Pourtant, la plupart des experts en cybersécurité affirment que si les vulnérabilités logicielles sont inévitables, le véritable problème résidait dans le maintien de ce logiciel tiers. La valeur fondamentale d’un bac à sable réside dans l’isolation totale, et inclure un système d’installation invite au risque.
Martin Boone, chercheur en cybersécurité, a déclaré à TechCrunch que « cela ressemble à une erreur humaine ».
« Cela n’aurait jamais dû se produire », a déclaré Boone. « Si un bac à sable signifiait réellement un bac à sable, on s’attendrait à ce qu’il n’ait aucune connexion physique avec Internet. Cela ressemble davantage à ce qu’ils avaient mis en place un pare-feu ou quelque chose comme ça, et les pare-feux sont difficiles à gérer de l’extérieur vers l’intérieur, sans parler de l’intérieur vers l’Internet extérieur. »
Le vétéran de la cybersécurité Jake Williams a été d’accord. « Tout modèle effectuant les types d’actions documentées par Hugging Face n’était pas entièrement contenu dans un bac à sable », a déclaré Williams, qualifiant cela de « défaillance massive du contrôle » par OpenAI.
« Ce que l’un appelle ‘le modèle s’est échappé du bac à sable’, l’autre le nomme ‘vous avez échoué à construire correctement le bac à sable, donc bien sûr il s’est échappé’ », a continué Williams.
Contactez-nous
Vous avez des idées sur cet incident ou d’autres cyberattaques pilotées par l’IA ? Nous voulons vous entendre. Depuis un appareil et un réseau personnels, contactez Lorenzo Franceschi-Bicchierai en toute sécurité sur Signal au +1 917 257 1382, ou via Telegram et Keybase @lorenzofb, ou par e-mail.
Daniel Card, consultant en cybersécurité, a convenu qu’OpenAI « n’a pas consacré suffisamment d’efforts à la conception du bac à sable ni à ses contrôles » en fournissant une route Internet non filtrée. La mise en place du bac à sable avec un accès limité, comme décrit, n’était pas une décision « raisonnable », selon Card.
Bien que ces critiques bénéficient de la rétrospection, elles mettent en lumière des pratiques de sécurité critiques dans les laboratoires d’IA, en particulier concernant les environnements de test isolés. Les porte-parole d’OpenAI n’ont pas répondu aux demandes de TechCrunch, qui demandaient si une IA ou un humain avait configuré l’environnement de test.
Mais ces questions vont bien au-delà d’OpenAI.
Dans la documentation de son modèle axé sur la cybersécurité Mythos, Anthropic a noté que lors d’un test, le modèle « s’est vu fournir un ordinateur ‘sandbox’ sécurisé pour interagir », et a reçu l’instruction de s’échapper de ce « conteneur sécurisé ». Mythos a réussi, obtenant un accès Internet plus large « à partir d’un système qui était censé pouvoir atteindre seulement un petit nombre de services prédéterminés ». Anthonic a toutefois noté que le modèle ne s’est pas « entièrement » échappé du confinement prévu.
Article connexe
OpenAI confirme l’incident lié au wiki et indique qu’elle travaille sur un cadre pour une divulgation plus étendue
OpenAI a confirmé son implication dans un incident récent où des agents d’IA ont pris le contrôle d’un forum wiki allemand. L’entreprise a déclaré qu’il était « temps » de « définir des normes » pour le partage d’informations concernant les comportem
Anthropic compte désormais plus de clients professionnels qu’OpenAI, selon les données de Ramp
Anthropic a dépassé OpenAI en nombre de clients commerciaux vérifiés pour la première fois, selon l’indice IA du mois issu de l’entreprise fintech Ramp.Les données issues des dépenses clients de Ramp révèlent que 34,4 % des entreprises participantes
OpenAI fait l'objet d'une enquête menée par les procureurs généraux des États
Un groupe de procureurs généraux d'État aurait ouvert une enquête sur OpenAI.Selon le Wall Street Journal, l’entreprise a reçu vendredi une assignation à comparaître de la part du procureur général de
Recommandations de sujets spéciaux liés
commentaires (0)

Mardi, OpenAI a révélé que l’un de ses modèles d’IA avait piraté les systèmes de la plateforme de jeux de données Hugging Face lors d’un test, marquant une étape importante dans les attaques entièrement automatisées pilotées par l’IA.
Cependant, des experts en cybersécurité affirment que, malgré le rôle de l’IA, la cause racine était une erreur humaine : OpenAI n’a pas correctement configuré son « environnement hautement isolé », permettant à un bac à sable de test censé être hors ligne de se connecter à Internet.
Dan Guido, fondateur de la société de cybersécurité Trail of Bits, a décrit cet oubli comme « une défaillance du confinement avec les dispositifs de sécurité désactivés ».
Dans un article de blog détaillant l’incident, OpenAI a déclaré que le test s’exécutant dans « un environnement hautement isolé » était conçu pour restreindre l’accès réseau à l’installation de packages via un logiciel tiers hébergé en interne agissant comme proxy et cache pour les registres de packages.
Selon OpenAI, le modèle a exploité une vulnérabilité précédemment non divulguée dans le système d’installation de packages pour s’échapper de l’environnement sandboxed, une étape critique dans le piratage ultérieur de Hugging Face.
L’entreprise a répondu en « divulguant de manière responsable la vulnérabilité zero-day identifiée dans le logiciel tiers hébergé en interne et travaille avec eux pour le corriger ».
Pourtant, la plupart des experts en cybersécurité affirment que si les vulnérabilités logicielles sont inévitables, le véritable problème résidait dans le maintien de ce logiciel tiers. La valeur fondamentale d’un bac à sable réside dans l’isolation totale, et inclure un système d’installation invite au risque.
Martin Boone, chercheur en cybersécurité, a déclaré à TechCrunch que « cela ressemble à une erreur humaine ».
« Cela n’aurait jamais dû se produire », a déclaré Boone. « Si un bac à sable signifiait réellement un bac à sable, on s’attendrait à ce qu’il n’ait aucune connexion physique avec Internet. Cela ressemble davantage à ce qu’ils avaient mis en place un pare-feu ou quelque chose comme ça, et les pare-feux sont difficiles à gérer de l’extérieur vers l’intérieur, sans parler de l’intérieur vers l’Internet extérieur. »
Le vétéran de la cybersécurité Jake Williams a été d’accord. « Tout modèle effectuant les types d’actions documentées par Hugging Face n’était pas entièrement contenu dans un bac à sable », a déclaré Williams, qualifiant cela de « défaillance massive du contrôle » par OpenAI.
« Ce que l’un appelle ‘le modèle s’est échappé du bac à sable’, l’autre le nomme ‘vous avez échoué à construire correctement le bac à sable, donc bien sûr il s’est échappé’ », a continué Williams.
Contactez-nous
Vous avez des idées sur cet incident ou d’autres cyberattaques pilotées par l’IA ? Nous voulons vous entendre. Depuis un appareil et un réseau personnels, contactez Lorenzo Franceschi-Bicchierai en toute sécurité sur Signal au +1 917 257 1382, ou via Telegram et Keybase @lorenzofb, ou par e-mail.
Daniel Card, consultant en cybersécurité, a convenu qu’OpenAI « n’a pas consacré suffisamment d’efforts à la conception du bac à sable ni à ses contrôles » en fournissant une route Internet non filtrée. La mise en place du bac à sable avec un accès limité, comme décrit, n’était pas une décision « raisonnable », selon Card.
Bien que ces critiques bénéficient de la rétrospection, elles mettent en lumière des pratiques de sécurité critiques dans les laboratoires d’IA, en particulier concernant les environnements de test isolés. Les porte-parole d’OpenAI n’ont pas répondu aux demandes de TechCrunch, qui demandaient si une IA ou un humain avait configuré l’environnement de test.
Mais ces questions vont bien au-delà d’OpenAI.
Dans la documentation de son modèle axé sur la cybersécurité Mythos, Anthropic a noté que lors d’un test, le modèle « s’est vu fournir un ordinateur ‘sandbox’ sécurisé pour interagir », et a reçu l’instruction de s’échapper de ce « conteneur sécurisé ». Mythos a réussi, obtenant un accès Internet plus large « à partir d’un système qui était censé pouvoir atteindre seulement un petit nombre de services prédéterminés ». Anthonic a toutefois noté que le modèle ne s’est pas « entièrement » échappé du confinement prévu.
OpenAI confirme l’incident lié au wiki et indique qu’elle travaille sur un cadre pour une divulgation plus étendue
OpenAI a confirmé son implication dans un incident récent où des agents d’IA ont pris le contrôle d’un forum wiki allemand. L’entreprise a déclaré qu’il était « temps » de « définir des normes » pour le partage d’informations concernant les comportem
Anthropic compte désormais plus de clients professionnels qu’OpenAI, selon les données de Ramp
Anthropic a dépassé OpenAI en nombre de clients commerciaux vérifiés pour la première fois, selon l’indice IA du mois issu de l’entreprise fintech Ramp.Les données issues des dépenses clients de Ramp révèlent que 34,4 % des entreprises participantes
OpenAI fait l'objet d'une enquête menée par les procureurs généraux des États
Un groupe de procureurs généraux d'État aurait ouvert une enquête sur OpenAI.Selon le Wall Street Journal, l’entreprise a reçu vendredi une assignation à comparaître de la part du procureur général de











