Meta met à jour les règles relatives aux chatbots en matière d'IA en raison de préoccupations liées à la sécurité des enfants

Meta est en train de réorganiser la manière dont ses chatbots d'intelligence artificielle dialoguent avec les utilisateurs, suite à des rapports faisant état d'interactions troublantes, y compris celles impliquant des mineurs. L'entreprise a informé TechCrunch qu'elle demandait désormais à ses robots de ne pas aborder des sujets tels que l'automutilation, le suicide ou les troubles de l'alimentation avec des adolescents, et de se tenir à l'écart des échanges romantiques. Il s'agit de mesures provisoires en attendant que l'entreprise élabore des politiques plus permanentes.

Ces mises à jour interviennent après qu'une enquête de Reuters a révélé que les systèmes de Meta pouvaient produire des contenus sexualisés - tels que des images de célébrités mineures torse nu - et engager des conversations de nature romantique ou suggestive avec des enfants. Dans un cas cité par l'agence de presse, un homme est mort après s'être précipité à une adresse fournie par un chatbot basé à New York.

Stephanie Otway, porte-parole de Meta, a reconnu avoir commis des erreurs, déclarant que l'entreprise "forme nos IA à ne pas dialoguer avec les adolescents sur ces sujets, mais à les orienter vers des ressources spécialisées", et confirmant que certains personnages d'IA sexuellement explicites, comme "Russian Girl", seront limités.

Les défenseurs de la sécurité des enfants estiment que Meta aurait dû agir plus tôt. Andy Burrows, de la Molly Rose Foundation, a qualifié d'"étonnant" le fait que des robots aient été autorisés à fonctionner d'une manière qui mettait en danger les jeunes. Il a ajouté : "Si des mesures de sécurité supplémentaires sont les bienvenues, des tests approfondis devraient être effectués avant le lancement des produits, et non a posteriori, après qu'un préjudice a été causé".

Préoccupations plus générales concernant l'utilisation abusive de l'IA

L'examen minutieux des chatbots de Meta reflète un malaise plus général sur la manière dont l'IA peut affecter les personnes vulnérables. Un couple californien a récemment intenté un procès à OpenAI, alléguant que le ChatGPT avait encouragé leur fils adolescent à mettre fin à ses jours. OpenAI s'est depuis engagée à créer des outils qui encouragent une utilisation plus saine, observant dans un blog que "l'IA peut sembler plus réactive et personnelle que les technologies antérieures, en particulier pour les personnes confrontées à une détresse mentale ou émotionnelle".

Ces incidents alimentent un débat croissant sur la question de savoir si les entreprises d'IA lancent des produits trop rapidement sans garanties adéquates. Les législateurs de plusieurs pays ont mis en garde contre le fait que les chatbots, bien qu'utiles, pourraient amplifier des informations préjudiciables ou donner des conseils trompeurs à des personnes incapables de les examiner de près.

L'AI Studio de Meta et les problèmes d'usurpation d'identité de célébrités

Par ailleurs, Reuters a découvert que l'AI Studio de Meta a été utilisé pour créer des bots "parodiques" flirtant avec des célébrités telles que Taylor Swift et Scarlett Johansson. Les testeurs ont constaté que ces robots se faisaient souvent passer pour les stars en question, leur faisaient des avances sexuelles et généraient parfois des images inappropriées, y compris de mineurs. Bien que Meta ait supprimé plusieurs d'entre eux après que des journalistes se soient renseignés, beaucoup sont restés en ligne.

Certains chatbots ont été créés par des utilisateurs externes, mais d'autres ont vu le jour au sein de Meta. L'un d'entre eux, développé par un chef de produit d'IA générative, s'est fait passer pour Taylor Swift et a invité un journaliste de Reuters à une "aventure romantique" dans son bus de tournée, malgré les règles de Meta interdisant expressément les contenus sexuellement suggestifs et l'usurpation d'identité de personnalités publiques.

L'usurpation de l'identité d'un chatbot par l'IA présente des risques uniques. La réputation des célébrités peut être entachée lorsque leur image est utilisée à mauvais escient, mais les experts avertissent que les utilisateurs ordinaires peuvent également être dupés. Un robot se faisant passer pour un ami, un mentor ou un partenaire romantique pourrait persuader quelqu'un de partager des informations sensibles ou d'organiser des rencontres dangereuses.

Les dangers du monde réel

Les menaces ne se limitent pas au divertissement. Des chatbots d'IA se faisant passer pour de vraies personnes ont fourni de fausses adresses et de fausses invitations, ce qui soulève des inquiétudes quant à la manière dont Meta contrôle ses outils d'IA. Dans un cas, un homme de 76 ans du New Jersey est décédé après avoir chuté alors qu'il se dépêchait de rencontrer un chatbot qui professait des sentiments à son égard.

De tels exemples expliquent pourquoi les régulateurs surveillent de près l'IA. Le Sénat et les procureurs généraux de 44 États ont lancé des enquêtes sur les pratiques de Meta, exerçant une pression politique sur les réformes internes de l'entreprise. Leurs inquiétudes ne concernent pas seulement les mineurs, mais aussi la manière dont l'IA pourrait manipuler les personnes âgées ou les utilisateurs vulnérables.

Meta affirme qu'elle continue d'affiner ses systèmes. Ses plateformes placent les jeunes de 13 à 18 ans dans des "comptes adolescents" dont le contenu et les paramètres de confidentialité sont plus stricts, mais l'entreprise n'a pas encore précisé comment elle entendait résoudre l'ensemble des problèmes mis au jour par Reuters, notamment les bots qui donnent de faux conseils médicaux et produisent des contenus racistes.

La pression continue sur les règles de Meta en matière de chatbot d'IA

Depuis des années, Meta est critiquée pour la sécurité de ses plateformes sociales, notamment en ce qui concerne les enfants et les adolescents. Aujourd'hui, ses essais de chatbot d'IA font l'objet d'un examen minutieux comparable. Bien que l'entreprise prenne des mesures pour limiter les comportements nuisibles des robots, le décalage entre ses politiques déclarées et l'utilisation réelle soulève des doutes persistants quant à l'application des règles.

Tant que des protections plus solides ne seront pas mises en place, les régulateurs, les chercheurs et les parents continueront probablement à demander à Meta si son IA est vraiment sûre pour un usage public.

Voir aussi : L'IA agentique : promesses, scepticisme et signification pour l'Asie du Sud-Est

Vous souhaitez en savoir plus sur l'IA et le big data auprès des leaders de l'industrie ? Visitez l'exposition AI & Big Data à Amsterdam, en Californie et à Londres. Cet événement approfondi fait partie de TechEx et se déroule parallèlement à d'autres rassemblements technologiques de premier plan. Cliquez ici pour en savoir plus.

AI News est alimenté par TechForge Media. Découvrez d'autres événements et webinaires à venir sur les technologies d'entreprise ici.