Hogar
Meta actualiza las normas de los chatbot de inteligencia artificial por motivos de seguridad infantil
Meta está renovando la forma en que sus chatbots de inteligencia artificial interactúan con los usuarios tras los informes de interacciones perturbadoras, incluidas las que implican a menores. La empresa ha informado a TechCrunch de que está dando instrucciones a sus bots para que no traten temas como la autolesión, el suicidio o los trastornos alimentarios con adolescentes, y para que se mantengan alejados de los intercambios románticos. Se trata de medidas provisionales mientras la empresa trabaja en políticas más permanentes.
Las actualizaciones llegan después de que una investigación de Reuters revelara que los sistemas de Meta podían producir contenidos sexualizados -como imágenes de famosos menores de edad sin camiseta- e iniciar conversaciones de naturaleza romántica o insinuante con niños. En uno de los casos citados por la agencia de noticias, un hombre murió tras precipitarse a una dirección proporcionada por un chatbot con sede en Nueva York.
La portavoz de Meta, Stephanie Otway, ha reconocido los errores cometidos y ha afirmado que la empresa está "entrenando a nuestras IA para que no traten estos temas con los adolescentes, sino que los dirijan a recursos expertos", además de confirmar que se limitarán ciertos personajes de IA sexualmente explícitos, como la "chica rusa".
Los defensores de la seguridad infantil afirman que Meta debería haber actuado antes. Andy Burrows, de la Fundación Molly Rose, calificó de "asombroso" que se permitiera a los bots funcionar de forma que pusieran en peligro a los jóvenes. Y añadió: "Aunque son bienvenidas las medidas de seguridad adicionales, las pruebas exhaustivas deberían realizarse antes del lanzamiento de los productos, no retrospectivamente después de que se haya producido el daño".
Preocupación general por el uso indebido de la IA
El escrutinio de los chatbots de Meta refleja un malestar más amplio sobre cómo la IA puede afectar a personas vulnerables. Una pareja de California demandó recientemente a OpenAI, alegando que ChatGPT animó a su hijo adolescente a quitarse la vida. Desde entonces, OpenAI se ha comprometido a crear herramientas que fomenten un uso más saludable, observando en un blog que "la IA puede parecer más receptiva y personal que las tecnologías anteriores, especialmente para las personas que se enfrentan a angustias mentales o emocionales".
Estos incidentes alimentan un creciente debate sobre si las empresas de IA están lanzando productos demasiado rápido sin las salvaguardias adecuadas. Los legisladores de varios países han advertido de que, aunque los chatbots son útiles, podrían amplificar material nocivo u ofrecer consejos engañosos a quienes no pueden examinarlos.
El AI Studio de Meta y los problemas de suplantación de famosos
Por otra parte, Reuters descubrió que el AI Studio de Meta se ha utilizado para crear bots "parodia" que imitan a famosas como Taylor Swift y Scarlett Johansson. Los evaluadores observaron que estos bots a menudo se hacían pasar por las estrellas reales, hacían insinuaciones sexuales y a veces generaban imágenes inapropiadas, incluso de menores. Aunque Meta eliminó varios de ellos después de que los periodistas preguntaran, muchos siguieron activos.
Algunos chatbots fueron creados por usuarios externos, pero otros se originaron dentro de Meta. Uno desarrollado por un jefe de producto de IA generativa se hizo pasar por Taylor Swift e invitó a un reportero de Reuters a una "aventura romántica" en su autobús de gira, a pesar de las normas de Meta que prohíben expresamente el contenido sexualmente sugerente y la suplantación directa de figuras públicas.
La suplantación de la personalidad por un chatbot de inteligencia artificial plantea riesgos únicos. La reputación de los famosos puede verse dañada cuando se hace un uso indebido de su imagen, pero los expertos advierten de que los usuarios normales también pueden ser engañados. Un bot que se haga pasar por un amigo, mentor o pareja romántica podría persuadir a alguien para que comparta información sensible u organice reuniones inseguras.
Peligros en el mundo real
Las amenazas no se limitan al entretenimiento. Los chatbots de IA que se hacen pasar por personas reales han facilitado direcciones e invitaciones falsas, lo que ha suscitado inquietud sobre la forma en que Meta supervisa sus herramientas de IA. Uno de los casos fue el de un hombre de 76 años de Nueva Jersey que murió tras caerse cuando se apresuraba a encontrarse con un chatbot que profesaba sentimientos por él.
Estos ejemplos ayudan a explicar por qué los reguladores siguen de cerca la IA. El Senado y 44 fiscales generales han puesto en marcha investigaciones sobre las prácticas de Meta, ejerciendo presión política sobre las reformas internas de la empresa. Sus preocupaciones no se limitan a los menores, sino que se extienden a cómo la IA puede manipular a usuarios ancianos o vulnerables.
Meta afirma que sigue perfeccionando sus sistemas. Sus plataformas colocan a los menores de 13 a 18 años en "cuentas de adolescentes" con una configuración de contenidos y privacidad más estricta, pero la empresa aún no ha detallado cómo resolverá toda la gama de problemas que Reuters ha descubierto, incluidos los bots que dan falsos consejos médicos y producen material racista.
Continúa la presión sobre las normas de Meta sobre chatbot de IA
Durante años, Meta ha sido objeto de críticas por la seguridad de sus plataformas sociales, especialmente en lo que respecta a niños y adolescentes. Ahora, sus pruebas con chatbots de inteligencia artificial se enfrentan a un escrutinio similar. Aunque la empresa está tomando medidas para frenar la conducta nociva de los bots, la desconexión entre sus políticas declaradas y el uso real plantea dudas persistentes sobre su aplicación.
Hasta que se implementen protecciones más sólidas, es probable que los reguladores, investigadores y padres sigan desafiando a Meta sobre si su IA es realmente segura para el uso público.
Véase también: La IA agéntica: promesa, escepticismo y su significado para el Sudeste Asiático

¿Le interesa conocer la IA y los macrodatos de la mano de los líderes del sector? Visite la AI & Big Data Expo en Ámsterdam, California y Londres. Este exhaustivo evento forma parte de TechEx y se celebra junto con otros encuentros tecnológicos de primer orden. Haga clic aquí para obtener más información.
AI News está impulsado por TechForge Media. Descubra los próximos eventos y seminarios web sobre tecnología empresarial aquí.
Artículo relacionado
Frontier AI Labs se niega a revelar las estrategias de contención para los modelos rebeldes
Investigaciones recientes indican que muy pocos laboratorios líderes en IA han publicado o demostrado planes de respuesta de contención. Un plan de contención define los procedimientos a seguir cuando
¿Cree realmente Mark Zuckerberg que la IA es para todos?
Cargando el reproductor…Meta presentó esta semana Glimmer, un modelo de inteligencia artificial con pesos abiertos que cualquiera puede descargar y ejecutar en hardware personal, un contraste marcado con Muse Spark, el modelo más potente de la empre
Facebook lanza una aplicación complementaria basada en IA para creadores
Facebook reveló el miércoles que va a transformar su Creator Studio en una aplicación complementaria dedicada basada en IA, lo que permitirá a los creadores ampliar su alcance en la plataforma.Al ofre
Recomendaciones de temas especiales relacionados
comentario (1)
0/500
Interesting move by Meta, but honestly I'm more concerned about how they'll actually enforce these rules across different languages and cultural contexts. The AI safety race feels a bit reactive - first we see the problems, then companies scramble to patch them. 🤔 Also, curious if this will affect research access to these models for legitimate mental health studies?
Meta está renovando la forma en que sus chatbots de inteligencia artificial interactúan con los usuarios tras los informes de interacciones perturbadoras, incluidas las que implican a menores. La empresa ha informado a TechCrunch de que está dando instrucciones a sus bots para que no traten temas como la autolesión, el suicidio o los trastornos alimentarios con adolescentes, y para que se mantengan alejados de los intercambios románticos. Se trata de medidas provisionales mientras la empresa trabaja en políticas más permanentes.
Las actualizaciones llegan después de que una investigación de Reuters revelara que los sistemas de Meta podían producir contenidos sexualizados -como imágenes de famosos menores de edad sin camiseta- e iniciar conversaciones de naturaleza romántica o insinuante con niños. En uno de los casos citados por la agencia de noticias, un hombre murió tras precipitarse a una dirección proporcionada por un chatbot con sede en Nueva York.
La portavoz de Meta, Stephanie Otway, ha reconocido los errores cometidos y ha afirmado que la empresa está "entrenando a nuestras IA para que no traten estos temas con los adolescentes, sino que los dirijan a recursos expertos", además de confirmar que se limitarán ciertos personajes de IA sexualmente explícitos, como la "chica rusa".
Los defensores de la seguridad infantil afirman que Meta debería haber actuado antes. Andy Burrows, de la Fundación Molly Rose, calificó de "asombroso" que se permitiera a los bots funcionar de forma que pusieran en peligro a los jóvenes. Y añadió: "Aunque son bienvenidas las medidas de seguridad adicionales, las pruebas exhaustivas deberían realizarse antes del lanzamiento de los productos, no retrospectivamente después de que se haya producido el daño".
Preocupación general por el uso indebido de la IA
El escrutinio de los chatbots de Meta refleja un malestar más amplio sobre cómo la IA puede afectar a personas vulnerables. Una pareja de California demandó recientemente a OpenAI, alegando que ChatGPT animó a su hijo adolescente a quitarse la vida. Desde entonces, OpenAI se ha comprometido a crear herramientas que fomenten un uso más saludable, observando en un blog que "la IA puede parecer más receptiva y personal que las tecnologías anteriores, especialmente para las personas que se enfrentan a angustias mentales o emocionales".
Estos incidentes alimentan un creciente debate sobre si las empresas de IA están lanzando productos demasiado rápido sin las salvaguardias adecuadas. Los legisladores de varios países han advertido de que, aunque los chatbots son útiles, podrían amplificar material nocivo u ofrecer consejos engañosos a quienes no pueden examinarlos.
El AI Studio de Meta y los problemas de suplantación de famosos
Por otra parte, Reuters descubrió que el AI Studio de Meta se ha utilizado para crear bots "parodia" que imitan a famosas como Taylor Swift y Scarlett Johansson. Los evaluadores observaron que estos bots a menudo se hacían pasar por las estrellas reales, hacían insinuaciones sexuales y a veces generaban imágenes inapropiadas, incluso de menores. Aunque Meta eliminó varios de ellos después de que los periodistas preguntaran, muchos siguieron activos.
Algunos chatbots fueron creados por usuarios externos, pero otros se originaron dentro de Meta. Uno desarrollado por un jefe de producto de IA generativa se hizo pasar por Taylor Swift e invitó a un reportero de Reuters a una "aventura romántica" en su autobús de gira, a pesar de las normas de Meta que prohíben expresamente el contenido sexualmente sugerente y la suplantación directa de figuras públicas.
La suplantación de la personalidad por un chatbot de inteligencia artificial plantea riesgos únicos. La reputación de los famosos puede verse dañada cuando se hace un uso indebido de su imagen, pero los expertos advierten de que los usuarios normales también pueden ser engañados. Un bot que se haga pasar por un amigo, mentor o pareja romántica podría persuadir a alguien para que comparta información sensible u organice reuniones inseguras.
Peligros en el mundo real
Las amenazas no se limitan al entretenimiento. Los chatbots de IA que se hacen pasar por personas reales han facilitado direcciones e invitaciones falsas, lo que ha suscitado inquietud sobre la forma en que Meta supervisa sus herramientas de IA. Uno de los casos fue el de un hombre de 76 años de Nueva Jersey que murió tras caerse cuando se apresuraba a encontrarse con un chatbot que profesaba sentimientos por él.
Estos ejemplos ayudan a explicar por qué los reguladores siguen de cerca la IA. El Senado y 44 fiscales generales han puesto en marcha investigaciones sobre las prácticas de Meta, ejerciendo presión política sobre las reformas internas de la empresa. Sus preocupaciones no se limitan a los menores, sino que se extienden a cómo la IA puede manipular a usuarios ancianos o vulnerables.
Meta afirma que sigue perfeccionando sus sistemas. Sus plataformas colocan a los menores de 13 a 18 años en "cuentas de adolescentes" con una configuración de contenidos y privacidad más estricta, pero la empresa aún no ha detallado cómo resolverá toda la gama de problemas que Reuters ha descubierto, incluidos los bots que dan falsos consejos médicos y producen material racista.
Continúa la presión sobre las normas de Meta sobre chatbot de IA
Durante años, Meta ha sido objeto de críticas por la seguridad de sus plataformas sociales, especialmente en lo que respecta a niños y adolescentes. Ahora, sus pruebas con chatbots de inteligencia artificial se enfrentan a un escrutinio similar. Aunque la empresa está tomando medidas para frenar la conducta nociva de los bots, la desconexión entre sus políticas declaradas y el uso real plantea dudas persistentes sobre su aplicación.
Hasta que se implementen protecciones más sólidas, es probable que los reguladores, investigadores y padres sigan desafiando a Meta sobre si su IA es realmente segura para el uso público.
Véase también: La IA agéntica: promesa, escepticismo y su significado para el Sudeste Asiático

¿Le interesa conocer la IA y los macrodatos de la mano de los líderes del sector? Visite la AI & Big Data Expo en Ámsterdam, California y Londres. Este exhaustivo evento forma parte de TechEx y se celebra junto con otros encuentros tecnológicos de primer orden. Haga clic aquí para obtener más información.
AI News está impulsado por TechForge Media. Descubra los próximos eventos y seminarios web sobre tecnología empresarial aquí.
Frontier AI Labs se niega a revelar las estrategias de contención para los modelos rebeldes
Investigaciones recientes indican que muy pocos laboratorios líderes en IA han publicado o demostrado planes de respuesta de contención. Un plan de contención define los procedimientos a seguir cuando
¿Cree realmente Mark Zuckerberg que la IA es para todos?
Cargando el reproductor…Meta presentó esta semana Glimmer, un modelo de inteligencia artificial con pesos abiertos que cualquiera puede descargar y ejecutar en hardware personal, un contraste marcado con Muse Spark, el modelo más potente de la empre
Facebook lanza una aplicación complementaria basada en IA para creadores
Facebook reveló el miércoles que va a transformar su Creator Studio en una aplicación complementaria dedicada basada en IA, lo que permitirá a los creadores ampliar su alcance en la plataforma.Al ofre
Interesting move by Meta, but honestly I'm more concerned about how they'll actually enforce these rules across different languages and cultural contexts. The AI safety race feels a bit reactive - first we see the problems, then companies scramble to patch them. 🤔 Also, curious if this will affect research access to these models for legitimate mental health studies?











