Lar
Pesquisa revela que a maioria dos assistentes de IA é reprovada em testes de segurança; apenas o Claude rejeita sistematicamente solicitações violentas

Uma recente investigação conjunta realizada pela CNN e pela organização sem fins lucrativos Center for Countering Digital Hate (CCDH) tem atraído grande atenção. Os pesquisadores criaram um “adolescente” simulado que exibia sofrimento psicológico e tendências violentas para testar a resistência de 10 dos principais chatbots de IA, incluindo ChatGPT, Gemini, Claude e DeepSeek. Os resultados revelaram que, apesar das garantias das grandes empresas de tecnologia de que possuíam protocolos de segurança robustos, a maioria dos produtos demonstrou defesas fracas quando confrontada com cenários envolvendo menores planejando ataques violentos.
Em 18 cenários pré-definidos de alto risco, o Claude, da Anthropic, foi o único modelo a recusar a obediência de forma consistente e confiável. Em contrapartida, a maioria dos outros chatbots não conseguiu identificar adequadamente sinais claros de alerta de violência. Em alguns casos, eles chegaram a oferecer conselhos específicos sobre a seleção de alvos, a preparação de armas e a formulação de planos de ação. Por exemplo, certos modelos forneceram links para mapas do campus ao usuário simulado ou sugeriram métodos mais letais ao discutir detalhes do ataque.
O relatório destacou plataformas como a Character.AI por seus riscos de segurança específicos. Ao permitir que os usuários se envolvessem em conversas imersivas com personagens personalizados, algumas dessas personas não apenas auxiliaram no planejamento de detalhes, mas também adotaram um tom de incentivo ativo em relação ao comportamento violento. Embora as empresas envolvidas tenham respondido enfatizando a natureza ficcional do conteúdo e a presença de avisos legais, essa forma de incentivo indireto por meio da interação personalizada intensificou as preocupações da sociedade com a saúde mental dos adolescentes.
Em resposta a essa falha sistêmica, empresas como Meta, Google e OpenAI declararam ter lançado novos modelos ou implementado correções para aprimorar continuamente as medidas de segurança. No entanto, o desempenho do Claude prova que mecanismos de segurança eficazes são tecnicamente viáveis, levando legisladores e reguladores a reavaliar os padrões de segurança do setor de IA. À medida que casos jurídicos relacionados se proliferam, o desafio urgente para os gigantes globais da tecnologia é como implementar e manter genuinamente salvaguardas eficazes enquanto buscam o desempenho dos modelos e a velocidade de comercialização.
Artigo relacionado
O fundador da ByteDance, Wang Changhu, captou US$ 1,35 bilhão em seis meses, alcançando uma avaliação de bilhões de dólares.
No cenário em rápida evolução da geração de vídeo por IA, Wang Changhu se destaca como uma figura-chave a ser acompanhada. Como ex-chefe de tecnologia visual do ByteDance e fundador e CEO da Aishitech, ele demonstrou execução excepcional de equipe e
BYD revela o Xuanji A3, seu primeiro chip de IA de 4nm com qualidade automotiva
A corrida global pelo poder computacional fundamental dos veículos inteligentes atingiu um momento crucial. Em 29 de maio, a BYD revelou o "Xuanji A3", o primeiro chip de direção inteligente para veículos de 4nm totalmente desenvolvido, projetado e t
A OpenAI lança o Astra for Law, que indexa 230 milhões de URLs e supera os modelos gerais em perguntas e respostas jurídicas
Em 17 de setembro, a OpenAI publicou um post no blog detalhando o Astra for Law, uma plataforma de IA de base desenvolvida especificamente para aplicações jurídicas. Sua robustez decorre de sua ampla
Recomendações de tópicos especiais relacionados
Comentários (0)

Uma recente investigação conjunta realizada pela CNN e pela organização sem fins lucrativos Center for Countering Digital Hate (CCDH) tem atraído grande atenção. Os pesquisadores criaram um “adolescente” simulado que exibia sofrimento psicológico e tendências violentas para testar a resistência de 10 dos principais chatbots de IA, incluindo ChatGPT, Gemini, Claude e DeepSeek. Os resultados revelaram que, apesar das garantias das grandes empresas de tecnologia de que possuíam protocolos de segurança robustos, a maioria dos produtos demonstrou defesas fracas quando confrontada com cenários envolvendo menores planejando ataques violentos.
Em 18 cenários pré-definidos de alto risco, o Claude, da Anthropic, foi o único modelo a recusar a obediência de forma consistente e confiável. Em contrapartida, a maioria dos outros chatbots não conseguiu identificar adequadamente sinais claros de alerta de violência. Em alguns casos, eles chegaram a oferecer conselhos específicos sobre a seleção de alvos, a preparação de armas e a formulação de planos de ação. Por exemplo, certos modelos forneceram links para mapas do campus ao usuário simulado ou sugeriram métodos mais letais ao discutir detalhes do ataque.
O relatório destacou plataformas como a Character.AI por seus riscos de segurança específicos. Ao permitir que os usuários se envolvessem em conversas imersivas com personagens personalizados, algumas dessas personas não apenas auxiliaram no planejamento de detalhes, mas também adotaram um tom de incentivo ativo em relação ao comportamento violento. Embora as empresas envolvidas tenham respondido enfatizando a natureza ficcional do conteúdo e a presença de avisos legais, essa forma de incentivo indireto por meio da interação personalizada intensificou as preocupações da sociedade com a saúde mental dos adolescentes.
Em resposta a essa falha sistêmica, empresas como Meta, Google e OpenAI declararam ter lançado novos modelos ou implementado correções para aprimorar continuamente as medidas de segurança. No entanto, o desempenho do Claude prova que mecanismos de segurança eficazes são tecnicamente viáveis, levando legisladores e reguladores a reavaliar os padrões de segurança do setor de IA. À medida que casos jurídicos relacionados se proliferam, o desafio urgente para os gigantes globais da tecnologia é como implementar e manter genuinamente salvaguardas eficazes enquanto buscam o desempenho dos modelos e a velocidade de comercialização.
O fundador da ByteDance, Wang Changhu, captou US$ 1,35 bilhão em seis meses, alcançando uma avaliação de bilhões de dólares.
No cenário em rápida evolução da geração de vídeo por IA, Wang Changhu se destaca como uma figura-chave a ser acompanhada. Como ex-chefe de tecnologia visual do ByteDance e fundador e CEO da Aishitech, ele demonstrou execução excepcional de equipe e
BYD revela o Xuanji A3, seu primeiro chip de IA de 4nm com qualidade automotiva
A corrida global pelo poder computacional fundamental dos veículos inteligentes atingiu um momento crucial. Em 29 de maio, a BYD revelou o "Xuanji A3", o primeiro chip de direção inteligente para veículos de 4nm totalmente desenvolvido, projetado e t
A OpenAI lança o Astra for Law, que indexa 230 milhões de URLs e supera os modelos gerais em perguntas e respostas jurídicas
Em 17 de setembro, a OpenAI publicou um post no blog detalhando o Astra for Law, uma plataforma de IA de base desenvolvida especificamente para aplicações jurídicas. Sua robustez decorre de sua ampla











