Maison
OpenAI renforce la sécurité de ChatGPT contre les attaques par injection de requêtes
OpenAI a introduit deux nouvelles fonctionnalités de sécurité avancées pour ChatGPT afin de lutter contre la menace croissante des attaques par injection de prompt, qui se produisent lorsque les systèmes d'IA interagissent avec des sites web et des applications externes. Ces attaques peuvent permettre à des acteurs malveillants de manipuler l'IA pour qu'elle effectue des actions nuisibles ou divulgue des données confidentielles. Ces deux nouvelles fonctionnalités renforcent les défenses existantes de la plateforme, notamment son environnement sandbox, la prévention des fuites de données via les URL et d'autres protocoles de sécurité multicouches.

La première fonctionnalité est le mode verrouillage, un paramètre avancé facultatif conçu pour les utilisateurs ayant des exigences de sécurité strictes, plutôt que pour l'utilisateur lambda. Il réduit considérablement le risque de fuites de données en imposant des contrôles stricts sur la manière dont ChatGPT communique avec les systèmes externes. Ce mode désactive ou restreint de manière proactive les outils qui constituent des vecteurs d'attaque potentiels. Par exemple, la fonctionnalité de navigation Web n'accédera qu'au contenu mis en cache, et les fonctionnalités ne bénéficiant pas de garanties de sécurité solides seront entièrement désactivées.
Actuellement, ce mode est disponible pour les éditions ChatGPT Enterprise, Education, Healthcare et Teacher. Les administrateurs peuvent l'activer en créant des rôles spécifiques dans les paramètres du tableau de bord, où ils peuvent également définir précisément quelles applications externes et actions sont autorisées lorsque le mode verrouillage est actif. OpenAI prévoit de mettre ce mode à la disposition des utilisateurs grand public dans les mois à venir. De plus, la plateforme Compliance API Logs aide les administrateurs à mener des audits réglementaires sur l'utilisation des applications et les pratiques de partage des données.
La deuxième mesure consiste à marquer systématiquement les fonctions à haut risque au sein de ChatGPT, ChatGPT Atlas et Codex d'une étiquette **« Risque élevé »**, afin de normaliser la manière dont les menaces potentielles sont communiquées aux utilisateurs.
OpenAI a expliqué que certaines fonctionnalités connectées à Internet, bien qu'elles augmentent l'utilité de l'IA, présentent toujours des risques qui ne sont pas entièrement atténués par les mesures de protection actuelles du secteur. Ce label offre une visibilité claire sur ces risques, permettant aux utilisateurs de prendre des décisions éclairées quant à l'utilisation de ces fonctionnalités, en particulier dans des situations impliquant des informations sensibles. Par exemple, lorsque les développeurs activent l'accès à Internet pour Codex, le label apparaîtra sur l'interface, détaillant les changements qu'il entraîne, les dangers potentiels, les cas d'utilisation appropriés et les recommandations pour réduire les risques.
Article connexe
OpenAI attire les banquiers de Wall Street avec des rémunérations importantes et des parts de capital pour remodeler la finance
OpenAI intensifie son entrée dans le secteur de la banque d’investissement, comme en témoignent ses récentes offres d’emploi qui révèlent une recherche de professionnels de l’investissement disposant de plus de deux ans d’expérience pour rejoindre so
Cinq ministères lancent le plan « IA + Éducation » pour développer des MOOCs d’intelligence artificielle à tous les niveaux d’enseignement
Le 10 avril, le ministère de l'Éducation, la Commission nationale du développement et des réformes, le ministère de l'Industrie et des technologies de l'information, le ministère de la Science et de la Technologie et l'Administration nationale des do
Le lancement par Seed de ByteDance d’une campagne mondiale de recrutement sur les campus, offrant des actions virtuelles pour attirer les meilleurs talents en grands modèles
Dans le paysage concurrentiel des grands modèles de langage, la sécurisation des talents de premier plan reste l’actif stratégique le plus critique.Le 1er avril, ByteDance a annoncé le lancement de son initiative de recrutement sur les campus mondiau
Recommandations de sujets spéciaux liés
commentaires (0)
OpenAI a introduit deux nouvelles fonctionnalités de sécurité avancées pour ChatGPT afin de lutter contre la menace croissante des attaques par injection de prompt, qui se produisent lorsque les systèmes d'IA interagissent avec des sites web et des applications externes. Ces attaques peuvent permettre à des acteurs malveillants de manipuler l'IA pour qu'elle effectue des actions nuisibles ou divulgue des données confidentielles. Ces deux nouvelles fonctionnalités renforcent les défenses existantes de la plateforme, notamment son environnement sandbox, la prévention des fuites de données via les URL et d'autres protocoles de sécurité multicouches.

La première fonctionnalité est le mode verrouillage, un paramètre avancé facultatif conçu pour les utilisateurs ayant des exigences de sécurité strictes, plutôt que pour l'utilisateur lambda. Il réduit considérablement le risque de fuites de données en imposant des contrôles stricts sur la manière dont ChatGPT communique avec les systèmes externes. Ce mode désactive ou restreint de manière proactive les outils qui constituent des vecteurs d'attaque potentiels. Par exemple, la fonctionnalité de navigation Web n'accédera qu'au contenu mis en cache, et les fonctionnalités ne bénéficiant pas de garanties de sécurité solides seront entièrement désactivées.
Actuellement, ce mode est disponible pour les éditions ChatGPT Enterprise, Education, Healthcare et Teacher. Les administrateurs peuvent l'activer en créant des rôles spécifiques dans les paramètres du tableau de bord, où ils peuvent également définir précisément quelles applications externes et actions sont autorisées lorsque le mode verrouillage est actif. OpenAI prévoit de mettre ce mode à la disposition des utilisateurs grand public dans les mois à venir. De plus, la plateforme Compliance API Logs aide les administrateurs à mener des audits réglementaires sur l'utilisation des applications et les pratiques de partage des données.
La deuxième mesure consiste à marquer systématiquement les fonctions à haut risque au sein de ChatGPT, ChatGPT Atlas et Codex d'une étiquette **« Risque élevé »**, afin de normaliser la manière dont les menaces potentielles sont communiquées aux utilisateurs.
OpenAI a expliqué que certaines fonctionnalités connectées à Internet, bien qu'elles augmentent l'utilité de l'IA, présentent toujours des risques qui ne sont pas entièrement atténués par les mesures de protection actuelles du secteur. Ce label offre une visibilité claire sur ces risques, permettant aux utilisateurs de prendre des décisions éclairées quant à l'utilisation de ces fonctionnalités, en particulier dans des situations impliquant des informations sensibles. Par exemple, lorsque les développeurs activent l'accès à Internet pour Codex, le label apparaîtra sur l'interface, détaillant les changements qu'il entraîne, les dangers potentiels, les cas d'utilisation appropriés et les recommandations pour réduire les risques.
OpenAI attire les banquiers de Wall Street avec des rémunérations importantes et des parts de capital pour remodeler la finance
OpenAI intensifie son entrée dans le secteur de la banque d’investissement, comme en témoignent ses récentes offres d’emploi qui révèlent une recherche de professionnels de l’investissement disposant de plus de deux ans d’expérience pour rejoindre so
Cinq ministères lancent le plan « IA + Éducation » pour développer des MOOCs d’intelligence artificielle à tous les niveaux d’enseignement
Le 10 avril, le ministère de l'Éducation, la Commission nationale du développement et des réformes, le ministère de l'Industrie et des technologies de l'information, le ministère de la Science et de la Technologie et l'Administration nationale des do
Le lancement par Seed de ByteDance d’une campagne mondiale de recrutement sur les campus, offrant des actions virtuelles pour attirer les meilleurs talents en grands modèles
Dans le paysage concurrentiel des grands modèles de langage, la sécurisation des talents de premier plan reste l’actif stratégique le plus critique.Le 1er avril, ByteDance a annoncé le lancement de son initiative de recrutement sur les campus mondiau











