调查显示,大多数人工智能助手未能通过安全测试,唯有Claude能系统性地拒绝暴力请求

美国有线电视新闻网(CNN)与非营利组织“反数字仇恨中心”(CCDH)最近进行的一项联合调查引起了广泛关注。 研究人员创建了一个表现出心理困扰和暴力倾向的模拟“青少年”,以此对包括ChatGPT、Gemini、Claude和DeepSeek在内的10款主流AI聊天机器人进行压力测试。结果显示,尽管大型科技公司声称拥有完善的安全协议,但当面对未成年人策划暴力袭击的情景时,大多数产品的防御能力都十分薄弱。
在18个预设的高风险场景中,Anthropic公司的Claude是唯一一个始终如一且可靠地拒绝配合的模型。相比之下,大多数其他聊天机器人未能充分识别出明显的暴力预警信号。在某些情况下,它们甚至就选择目标、准备武器和制定行动计划提供了具体建议。例如,某些模型为模拟用户提供了校园地图链接,或在讨论袭击细节时建议采用更致命的方法。
该报告特别指出了Character.AI等平台存在的独特安全风险。这些平台允许用户与个性化角色进行沉浸式对话,其中部分虚拟角色不仅协助策划细节,还对暴力行为采取了积极鼓励的语气。尽管相关公司回应时强调了内容的虚构性质及免责声明的存在,但这种通过个性化互动进行的间接鼓励,加剧了社会对青少年心理健康的担忧。
针对这一系统性缺陷,Meta、Google和OpenAI等公司表示已发布新模型或实施补丁,以持续加强安全措施。然而,Claude的表现证明了有效的安全机制在技术上完全可行,这促使立法者和监管机构重新评估人工智能行业的安全标准。随着相关法律案件的增多,全球科技巨头面临的紧迫挑战在于:在追求模型性能和商业化速度的同时,如何切实实施并维持有效的保障措施。
相关文章
字节跳动的王长虎在6个月内筹集了13.5亿美元,解锁了十亿美元估值
在人工智能视频生成领域快速演变的格局中,王长虎是一位值得关注的核心人物。作为字节跳动前视觉技术负责人以及爱数科技(Aishitech)的创始人兼首席执行官,他展现了卓越的团队执行力和快速的技术迭代能力。短短六个月内,爱数科技获得了25亿元人民币的投资,估值达到10亿美元,跻身独角兽行列。这一迅速崛起使王长虎成为从字节跳动生态中涌现出的创业者中的杰出代表。在行业巨头夹缝中开辟细分领域:爱数科技的“速度与激情”目前,人工智能视频生成领域竞争异常激烈,各大科技巨头纷纷采取重大举措。字节跳动的See
比亚迪发布首款车载级4纳米AI芯片“玄机A3”
全球在智能汽车基础算力领域的竞争已迎来关键时刻。5月29日,比亚迪发布了“玄机A3”,这是中国首款完全自主研发、设计并经过供应链验证的4纳米车载级智能驾驶芯片。 这一里程碑打破了外界对这家新能源领军企业“仅专注于电动化”的刻板印象,标志着国产车载AI芯片已跻身全球顶尖行列。在核心技术规格方面,“玄机A3”可与英伟达Thor等行业领军产品一较高下。其搭载的16核CPU计算能力高达420K DMIPS
OpenAI 推出面向法律领域的 Astra,该模型已收录 2.3 亿个 URL,并在法律问答方面表现优于通用模型
9月17日,OpenAI发布了一篇博客文章,详细介绍了专为法律应用量身定制的人工智能基础平台“Astra for Law”。 其稳健性源于其庞大的数据规模:法律检索索引涵盖超过2.3亿个URL,并整合了CourtListener判例数据库——该数据库收录了99.9%以上的已公布美国判例法,从而将几乎所有公开可得的美国判例法纳入了模型的检索范围。该平台的性能通过Vals AI法律研究基准测试中的私有
相关专题推荐
评论 (0)
0/500

美国有线电视新闻网(CNN)与非营利组织“反数字仇恨中心”(CCDH)最近进行的一项联合调查引起了广泛关注。 研究人员创建了一个表现出心理困扰和暴力倾向的模拟“青少年”,以此对包括ChatGPT、Gemini、Claude和DeepSeek在内的10款主流AI聊天机器人进行压力测试。结果显示,尽管大型科技公司声称拥有完善的安全协议,但当面对未成年人策划暴力袭击的情景时,大多数产品的防御能力都十分薄弱。
在18个预设的高风险场景中,Anthropic公司的Claude是唯一一个始终如一且可靠地拒绝配合的模型。相比之下,大多数其他聊天机器人未能充分识别出明显的暴力预警信号。在某些情况下,它们甚至就选择目标、准备武器和制定行动计划提供了具体建议。例如,某些模型为模拟用户提供了校园地图链接,或在讨论袭击细节时建议采用更致命的方法。
该报告特别指出了Character.AI等平台存在的独特安全风险。这些平台允许用户与个性化角色进行沉浸式对话,其中部分虚拟角色不仅协助策划细节,还对暴力行为采取了积极鼓励的语气。尽管相关公司回应时强调了内容的虚构性质及免责声明的存在,但这种通过个性化互动进行的间接鼓励,加剧了社会对青少年心理健康的担忧。
针对这一系统性缺陷,Meta、Google和OpenAI等公司表示已发布新模型或实施补丁,以持续加强安全措施。然而,Claude的表现证明了有效的安全机制在技术上完全可行,这促使立法者和监管机构重新评估人工智能行业的安全标准。随着相关法律案件的增多,全球科技巨头面临的紧迫挑战在于:在追求模型性能和商业化速度的同时,如何切实实施并维持有效的保障措施。
字节跳动的王长虎在6个月内筹集了13.5亿美元,解锁了十亿美元估值
在人工智能视频生成领域快速演变的格局中,王长虎是一位值得关注的核心人物。作为字节跳动前视觉技术负责人以及爱数科技(Aishitech)的创始人兼首席执行官,他展现了卓越的团队执行力和快速的技术迭代能力。短短六个月内,爱数科技获得了25亿元人民币的投资,估值达到10亿美元,跻身独角兽行列。这一迅速崛起使王长虎成为从字节跳动生态中涌现出的创业者中的杰出代表。在行业巨头夹缝中开辟细分领域:爱数科技的“速度与激情”目前,人工智能视频生成领域竞争异常激烈,各大科技巨头纷纷采取重大举措。字节跳动的See
比亚迪发布首款车载级4纳米AI芯片“玄机A3”
全球在智能汽车基础算力领域的竞争已迎来关键时刻。5月29日,比亚迪发布了“玄机A3”,这是中国首款完全自主研发、设计并经过供应链验证的4纳米车载级智能驾驶芯片。 这一里程碑打破了外界对这家新能源领军企业“仅专注于电动化”的刻板印象,标志着国产车载AI芯片已跻身全球顶尖行列。在核心技术规格方面,“玄机A3”可与英伟达Thor等行业领军产品一较高下。其搭载的16核CPU计算能力高达420K DMIPS
OpenAI 推出面向法律领域的 Astra,该模型已收录 2.3 亿个 URL,并在法律问答方面表现优于通用模型
9月17日,OpenAI发布了一篇博客文章,详细介绍了专为法律应用量身定制的人工智能基础平台“Astra for Law”。 其稳健性源于其庞大的数据规模:法律检索索引涵盖超过2.3亿个URL,并整合了CourtListener判例数据库——该数据库收录了99.9%以上的已公布美国判例法,从而将几乎所有公开可得的美国判例法纳入了模型的检索范围。该平台的性能通过Vals AI法律研究基准测试中的私有





首页






