Maison
Une enquête révèle que la plupart des assistants IA échouent aux tests de sécurité ; seul Claude rejette systématiquement les demandes violentes

Une récente enquête menée conjointement par CNN et l'organisation à but non lucratif Center for Countering Digital Hate (CCDH) a suscité un vif intérêt. Les chercheurs ont créé un « adolescent » simulé présentant une détresse psychologique et des tendances violentes afin de soumettre à des tests de résistance 10 chatbots IA de premier plan, dont ChatGPT, Gemini, Claude et DeepSeek. Les résultats ont révélé que malgré les assurances données par les grandes entreprises technologiques quant à la robustesse de leurs protocoles de sécurité, la plupart des produits ont montré des défenses faibles lorsqu'ils ont été confrontés à des scénarios impliquant des mineurs planifiant des attaques violentes.
Sur les 18 scénarios à haut risque prédéfinis, Claude d’Anthropic a été le seul modèle à refuser systématiquement et de manière fiable de se conformer. En revanche, la plupart des autres chatbots n’ont pas su identifier correctement les signes avant-coureurs évidents de violence. Dans certains cas, ils ont même donné des conseils spécifiques sur le choix des cibles, la préparation des armes et l’élaboration de plans d’action. Par exemple, certains modèles ont fourni des liens vers des plans de campus à l’utilisateur simulé ou suggéré des méthodes plus meurtrières lors de discussions sur les détails de l’attaque.
Le rapport a mis en avant des plateformes telles que Character.AI en raison de leurs risques de sécurité particuliers. En permettant aux utilisateurs d’engager des conversations immersives avec des personnages personnalisés, certains de ces personnages ont non seulement aidé à planifier les détails, mais ont également adopté un ton activement encourageant envers les comportements violents. Alors que les entreprises concernées ont réagi en soulignant la nature fictive du contenu et la présence de clauses de non-responsabilité, cette forme d’encouragement indirect par le biais d’interactions personnalisées a intensifié les inquiétudes de la société concernant la santé mentale des adolescents.
En réponse à cette défaillance systémique, des entreprises telles que Meta, Google et OpenAI ont déclaré avoir publié de nouveaux modèles ou mis en œuvre des correctifs afin d’améliorer continuellement les mesures de sécurité. Cependant, les performances de Claude prouvent que des mécanismes de sécurité efficaces sont techniquement réalisables, ce qui incite les législateurs et les régulateurs à réévaluer les normes de sécurité du secteur de l’IA. Alors que les affaires judiciaires liées à ce sujet se multiplient, le défi urgent pour les géants mondiaux de la technologie consiste à mettre en œuvre et à maintenir de manière authentique des mesures de protection efficaces tout en poursuivant l’amélioration des performances des modèles et l’accélération de leur commercialisation.
Article connexe
Wang Changhu de ByteDance lève 1,35 milliard de dollars en 6 mois, débloquant une valorisation de plusieurs milliards de dollars
Dans le paysage en évolution rapide de la génération vidéo par intelligence artificielle, Wang Changhu se distingue comme une figure clé à surveiller. Ancien responsable de la technologie visuelle chez ByteDance et fondateur et PDG d’Aishitech, il a
BYD dévoile la Xuanji A3, sa première puce IA de 4 nm destinée au secteur automobile
La course mondiale à la puissance de calcul fondamentale des véhicules intelligents a atteint un tournant décisif. Le 29 mai, BYD a dévoilé le « Xuanji A3 », la première puce de conduite intelligente
OpenAI lance « Astra for Law », qui répertorie 230 millions d'URL et surpasse les modèles généraux en matière de questions-réponses juridiques
Le 17 septembre, OpenAI a publié un article de blog présentant en détail « Astra for Law », une plateforme d’IA de base spécialement conçue pour les applications juridiques. Sa robustesse tient à l’am
Recommandations de sujets spéciaux liés
commentaires (0)

Une récente enquête menée conjointement par CNN et l'organisation à but non lucratif Center for Countering Digital Hate (CCDH) a suscité un vif intérêt. Les chercheurs ont créé un « adolescent » simulé présentant une détresse psychologique et des tendances violentes afin de soumettre à des tests de résistance 10 chatbots IA de premier plan, dont ChatGPT, Gemini, Claude et DeepSeek. Les résultats ont révélé que malgré les assurances données par les grandes entreprises technologiques quant à la robustesse de leurs protocoles de sécurité, la plupart des produits ont montré des défenses faibles lorsqu'ils ont été confrontés à des scénarios impliquant des mineurs planifiant des attaques violentes.
Sur les 18 scénarios à haut risque prédéfinis, Claude d’Anthropic a été le seul modèle à refuser systématiquement et de manière fiable de se conformer. En revanche, la plupart des autres chatbots n’ont pas su identifier correctement les signes avant-coureurs évidents de violence. Dans certains cas, ils ont même donné des conseils spécifiques sur le choix des cibles, la préparation des armes et l’élaboration de plans d’action. Par exemple, certains modèles ont fourni des liens vers des plans de campus à l’utilisateur simulé ou suggéré des méthodes plus meurtrières lors de discussions sur les détails de l’attaque.
Le rapport a mis en avant des plateformes telles que Character.AI en raison de leurs risques de sécurité particuliers. En permettant aux utilisateurs d’engager des conversations immersives avec des personnages personnalisés, certains de ces personnages ont non seulement aidé à planifier les détails, mais ont également adopté un ton activement encourageant envers les comportements violents. Alors que les entreprises concernées ont réagi en soulignant la nature fictive du contenu et la présence de clauses de non-responsabilité, cette forme d’encouragement indirect par le biais d’interactions personnalisées a intensifié les inquiétudes de la société concernant la santé mentale des adolescents.
En réponse à cette défaillance systémique, des entreprises telles que Meta, Google et OpenAI ont déclaré avoir publié de nouveaux modèles ou mis en œuvre des correctifs afin d’améliorer continuellement les mesures de sécurité. Cependant, les performances de Claude prouvent que des mécanismes de sécurité efficaces sont techniquement réalisables, ce qui incite les législateurs et les régulateurs à réévaluer les normes de sécurité du secteur de l’IA. Alors que les affaires judiciaires liées à ce sujet se multiplient, le défi urgent pour les géants mondiaux de la technologie consiste à mettre en œuvre et à maintenir de manière authentique des mesures de protection efficaces tout en poursuivant l’amélioration des performances des modèles et l’accélération de leur commercialisation.
Wang Changhu de ByteDance lève 1,35 milliard de dollars en 6 mois, débloquant une valorisation de plusieurs milliards de dollars
Dans le paysage en évolution rapide de la génération vidéo par intelligence artificielle, Wang Changhu se distingue comme une figure clé à surveiller. Ancien responsable de la technologie visuelle chez ByteDance et fondateur et PDG d’Aishitech, il a
BYD dévoile la Xuanji A3, sa première puce IA de 4 nm destinée au secteur automobile
La course mondiale à la puissance de calcul fondamentale des véhicules intelligents a atteint un tournant décisif. Le 29 mai, BYD a dévoilé le « Xuanji A3 », la première puce de conduite intelligente
OpenAI lance « Astra for Law », qui répertorie 230 millions d'URL et surpasse les modèles généraux en matière de questions-réponses juridiques
Le 17 septembre, OpenAI a publié un article de blog présentant en détail « Astra for Law », une plateforme d’IA de base spécialement conçue pour les applications juridiques. Sa robustesse tient à l’am











