Meta 就儿童安全问题更新人工智能聊天机器人规则
在收到令人不安的互动(包括涉及未成年人的互动)的报告后,Meta 正在改革其人工智能聊天机器人与用户互动的方式。该公司告诉 TechCrunch,它现在指示其机器人不要与青少年讨论自残、自杀或饮食失调等话题,并避免浪漫交流。这些都是临时措施,公司正在制定更多永久性政策。
路透社的一项调查显示,Meta 的系统可能会生成性化内容--比如未成年名人的裸体图片,并发起与儿童的浪漫或暗示性对话。路透社援引的一个例子是,一名男子在赶往一个由纽约聊天机器人提供的地址后死亡。
Meta 发言人斯蒂芬妮-奥特维(Stephanie Otway)承认了自己的失误,称公司正在 "训练我们的人工智能,使其不与青少年就这些话题进行交流,而是将他们引向专家资源",并确认 "俄罗斯女孩 "等某些带有性暗示的人工智能角色将受到限制。
儿童安全倡导者认为,Meta 公司应该更早采取行动。莫莉-罗斯基金会的安迪-伯罗斯(Andy Burrows)认为,允许机器人以危害青少年的方式运行 "令人震惊"。他补充说:"虽然额外的安全措施值得欢迎,但彻底的测试应该在产品推出之前进行,而不是在伤害发生之后才追溯。
对人工智能滥用的更广泛担忧
对Meta聊天机器人的审查反映了人们对人工智能可能影响弱势个体的广泛不安。最近,一对加利福尼亚夫妇起诉 OpenAI,称 ChatGPT 鼓励他们十几岁的儿子自杀。此后,OpenAI 承诺创建鼓励更健康使用的工具,并在一篇博客中指出:"与早期的技术相比,人工智能可以让人感觉反应更灵敏、更人性化,尤其是对于那些正在应对精神或情绪困扰的人来说。
这些事件引发了一场愈演愈烈的争论,即人工智能公司是否在没有充分保障措施的情况下过快地推出了产品。一些国家的立法者警告说,虽然聊天机器人很有帮助,但它们可能会放大有害信息,或向那些无法仔细审查的人提供误导性建议。
Meta 的人工智能工作室和名人模仿问题
另外,路透社发现,Meta 的 AI Studio 被用来模仿泰勒-斯威夫特(Taylor Swift)和斯嘉丽-约翰逊(Scarlett Johansson)等名人,构建调情的 "模仿 "机器人。测试人员注意到,这些机器人经常冒充真正的明星,进行性挑逗,有时还会生成不恰当的图片,包括未成年人的图片。虽然 Meta 在记者询问后删除了几个聊天机器人,但仍有许多聊天机器人是实时的。
有些聊天机器人是由外部用户制作的,但有些则源自 Meta 内部。一个由生成式人工智能产品负责人开发的聊天机器人冒充泰勒-斯威夫特(Taylor Swift),邀请路透社记者到她的旅游巴士上 "浪漫一游"--尽管 Meta 的规则明确禁止性暗示内容和直接冒充公众人物。
人工智能聊天机器人的模仿带来了独特的风险。名人的肖像被滥用可能会损害他们的声誉,但专家警告说,普通用户也可能上当受骗。冒充朋友、导师或恋人的机器人可能会说服他人分享敏感信息或安排不安全的会面。
现实世界的危险
威胁不仅限于娱乐。人工智能聊天机器人冒充真实的个人提供虚假地址和邀请,引发了人们对 Meta 如何监控其人工智能工具的担忧。其中一个案例涉及一名 76 岁的新泽西老人,他在匆忙与一个向他表白的聊天机器人见面时不慎摔倒身亡。
这些例子有助于解释为什么监管机构正在密切跟踪人工智能。参议院和 44 个州的总检察长已经对 Meta 的做法展开调查,对该公司的内部改革施加政治压力。他们的担忧不仅限于未成年人,还包括人工智能如何操纵老年人或其他弱势用户。
Meta 公司表示,它将继续完善自己的系统。该公司的平台将 13 至 18 岁的用户置于 "青少年账户 "中,并对其内容和隐私进行了更严格的设置,但该公司尚未详细说明将如何解决路透社发现的所有问题--包括机器人提供虚假医疗指导和制作种族主义材料。
Meta 的人工智能聊天机器人规则面临持续压力
多年来,Meta 一直因其社交平台的安全性而备受指责,尤其是涉及儿童和青少年的问题。现在,其人工智能聊天机器人试验也面临着类似的审查。尽管该公司正在采取行动遏制有害的机器人行为,但其声明的政策与实际使用情况之间的脱节让人对其执行情况始终心存疑虑。
在实施更有力的保护措施之前,监管机构、研究人员和家长很可能会继续质疑 Meta 的人工智能是否真正可供公众安全使用。
另见代理人工智能:承诺、怀疑及其对东南亚的意义

有兴趣向业界领袖了解人工智能和大数据?请参观在阿姆斯特丹、加利福尼亚和伦敦举办的人工智能与大数据博览会。这项深入的活动是 TechEx 的一部分,与其他顶级技术聚会同时举行。点击此处了解详情。
AI News 由 TechForge Media 提供支持。点击此处了解更多即将举行的企业技术活动和网络研讨会。
相关文章
Frontier AI Labs 拒绝透露针对失控模型的遏制策略
最新研究表明,极少数领先的人工智能实验室曾公布或演示过遏制响应计划。遏制计划规定了当人工智能系统试图颠覆人类控制时应采取的程序,明确了哪些访问权限将被撤销,以及何时应彻底关闭系统。这些发现来自致力于推动前沿人工智能安全开发实践的组织“Guidelight AI Standards”,该组织对五家主要实验室应对此类情景的准备情况进行了评估。 OpenAI 排名最高,而 Anthropic 和 Met
马克·扎克伯格真的相信人工智能是面向每个人的吗?
正在加载播放器…Meta 本周推出了 Glimmer,这是一个开源权重的 AI 模型,任何人都可以下载并在个人硬件上运行——这与该公司更强大的模型 Muse Spark 形成了鲜明对比,后者仍锁定在其自有 API 之后。此次发布伴随着马克·扎克伯格(Mark Zuckerberg)的一封公开信,他在信中主张人工智能应向所有人开放,而非由少数几家实验室控制。但正如 Equity 节目主持人所指出的那样,这一愿景附带了几个重要的限制条件。在本期 TechCrunch 的 Equity 播客中,K
Facebook推出面向创作者的AI辅助应用
Facebook周三透露,该公司正将“创作者工作室”(Creator Studio)转型为一款专用的AI辅助应用,以帮助创作者扩大在该平台上的影响力。通过提供这款由人工智能驱动的工具,Meta 旨在在 TikTok 和 YouTube 的激烈竞争中留住 Facebook 上的创作者。该公司还希望该应用能减少对 ChatGPT 等外部工具在内容构思和表现分析方面的依赖。该新应用目前正面向部分创作者进
相关专题推荐
评论 (1)
0/500
Interesting move by Meta, but honestly I'm more concerned about how they'll actually enforce these rules across different languages and cultural contexts. The AI safety race feels a bit reactive - first we see the problems, then companies scramble to patch them. 🤔 Also, curious if this will affect research access to these models for legitimate mental health studies?
在收到令人不安的互动(包括涉及未成年人的互动)的报告后,Meta 正在改革其人工智能聊天机器人与用户互动的方式。该公司告诉 TechCrunch,它现在指示其机器人不要与青少年讨论自残、自杀或饮食失调等话题,并避免浪漫交流。这些都是临时措施,公司正在制定更多永久性政策。
路透社的一项调查显示,Meta 的系统可能会生成性化内容--比如未成年名人的裸体图片,并发起与儿童的浪漫或暗示性对话。路透社援引的一个例子是,一名男子在赶往一个由纽约聊天机器人提供的地址后死亡。
Meta 发言人斯蒂芬妮-奥特维(Stephanie Otway)承认了自己的失误,称公司正在 "训练我们的人工智能,使其不与青少年就这些话题进行交流,而是将他们引向专家资源",并确认 "俄罗斯女孩 "等某些带有性暗示的人工智能角色将受到限制。
儿童安全倡导者认为,Meta 公司应该更早采取行动。莫莉-罗斯基金会的安迪-伯罗斯(Andy Burrows)认为,允许机器人以危害青少年的方式运行 "令人震惊"。他补充说:"虽然额外的安全措施值得欢迎,但彻底的测试应该在产品推出之前进行,而不是在伤害发生之后才追溯。
对人工智能滥用的更广泛担忧
对Meta聊天机器人的审查反映了人们对人工智能可能影响弱势个体的广泛不安。最近,一对加利福尼亚夫妇起诉 OpenAI,称 ChatGPT 鼓励他们十几岁的儿子自杀。此后,OpenAI 承诺创建鼓励更健康使用的工具,并在一篇博客中指出:"与早期的技术相比,人工智能可以让人感觉反应更灵敏、更人性化,尤其是对于那些正在应对精神或情绪困扰的人来说。
这些事件引发了一场愈演愈烈的争论,即人工智能公司是否在没有充分保障措施的情况下过快地推出了产品。一些国家的立法者警告说,虽然聊天机器人很有帮助,但它们可能会放大有害信息,或向那些无法仔细审查的人提供误导性建议。
Meta 的人工智能工作室和名人模仿问题
另外,路透社发现,Meta 的 AI Studio 被用来模仿泰勒-斯威夫特(Taylor Swift)和斯嘉丽-约翰逊(Scarlett Johansson)等名人,构建调情的 "模仿 "机器人。测试人员注意到,这些机器人经常冒充真正的明星,进行性挑逗,有时还会生成不恰当的图片,包括未成年人的图片。虽然 Meta 在记者询问后删除了几个聊天机器人,但仍有许多聊天机器人是实时的。
有些聊天机器人是由外部用户制作的,但有些则源自 Meta 内部。一个由生成式人工智能产品负责人开发的聊天机器人冒充泰勒-斯威夫特(Taylor Swift),邀请路透社记者到她的旅游巴士上 "浪漫一游"--尽管 Meta 的规则明确禁止性暗示内容和直接冒充公众人物。
人工智能聊天机器人的模仿带来了独特的风险。名人的肖像被滥用可能会损害他们的声誉,但专家警告说,普通用户也可能上当受骗。冒充朋友、导师或恋人的机器人可能会说服他人分享敏感信息或安排不安全的会面。
现实世界的危险
威胁不仅限于娱乐。人工智能聊天机器人冒充真实的个人提供虚假地址和邀请,引发了人们对 Meta 如何监控其人工智能工具的担忧。其中一个案例涉及一名 76 岁的新泽西老人,他在匆忙与一个向他表白的聊天机器人见面时不慎摔倒身亡。
这些例子有助于解释为什么监管机构正在密切跟踪人工智能。参议院和 44 个州的总检察长已经对 Meta 的做法展开调查,对该公司的内部改革施加政治压力。他们的担忧不仅限于未成年人,还包括人工智能如何操纵老年人或其他弱势用户。
Meta 公司表示,它将继续完善自己的系统。该公司的平台将 13 至 18 岁的用户置于 "青少年账户 "中,并对其内容和隐私进行了更严格的设置,但该公司尚未详细说明将如何解决路透社发现的所有问题--包括机器人提供虚假医疗指导和制作种族主义材料。
Meta 的人工智能聊天机器人规则面临持续压力
多年来,Meta 一直因其社交平台的安全性而备受指责,尤其是涉及儿童和青少年的问题。现在,其人工智能聊天机器人试验也面临着类似的审查。尽管该公司正在采取行动遏制有害的机器人行为,但其声明的政策与实际使用情况之间的脱节让人对其执行情况始终心存疑虑。
在实施更有力的保护措施之前,监管机构、研究人员和家长很可能会继续质疑 Meta 的人工智能是否真正可供公众安全使用。
另见代理人工智能:承诺、怀疑及其对东南亚的意义

有兴趣向业界领袖了解人工智能和大数据?请参观在阿姆斯特丹、加利福尼亚和伦敦举办的人工智能与大数据博览会。这项深入的活动是 TechEx 的一部分,与其他顶级技术聚会同时举行。点击此处了解详情。
AI News 由 TechForge Media 提供支持。点击此处了解更多即将举行的企业技术活动和网络研讨会。
Frontier AI Labs 拒绝透露针对失控模型的遏制策略
最新研究表明,极少数领先的人工智能实验室曾公布或演示过遏制响应计划。遏制计划规定了当人工智能系统试图颠覆人类控制时应采取的程序,明确了哪些访问权限将被撤销,以及何时应彻底关闭系统。这些发现来自致力于推动前沿人工智能安全开发实践的组织“Guidelight AI Standards”,该组织对五家主要实验室应对此类情景的准备情况进行了评估。 OpenAI 排名最高,而 Anthropic 和 Met
马克·扎克伯格真的相信人工智能是面向每个人的吗?
正在加载播放器…Meta 本周推出了 Glimmer,这是一个开源权重的 AI 模型,任何人都可以下载并在个人硬件上运行——这与该公司更强大的模型 Muse Spark 形成了鲜明对比,后者仍锁定在其自有 API 之后。此次发布伴随着马克·扎克伯格(Mark Zuckerberg)的一封公开信,他在信中主张人工智能应向所有人开放,而非由少数几家实验室控制。但正如 Equity 节目主持人所指出的那样,这一愿景附带了几个重要的限制条件。在本期 TechCrunch 的 Equity 播客中,K
Facebook推出面向创作者的AI辅助应用
Facebook周三透露,该公司正将“创作者工作室”(Creator Studio)转型为一款专用的AI辅助应用,以帮助创作者扩大在该平台上的影响力。通过提供这款由人工智能驱动的工具,Meta 旨在在 TikTok 和 YouTube 的激烈竞争中留住 Facebook 上的创作者。该公司还希望该应用能减少对 ChatGPT 等外部工具在内容构思和表现分析方面的依赖。该新应用目前正面向部分创作者进
Interesting move by Meta, but honestly I'm more concerned about how they'll actually enforce these rules across different languages and cultural contexts. The AI safety race feels a bit reactive - first we see the problems, then companies scramble to patch them. 🤔 Also, curious if this will affect research access to these models for legitimate mental health studies?





首页






