Anthropic implementa novas proteções de IA em meio a riscos crescentes

A Anthropic atualizou a política de uso de seu chatbot de IA Claude para atender às crescentes preocupações com a segurança. Juntamente com regras mais rígidas de segurança cibernética, a empresa agora descreve explicitamente as categorias de armas perigosas que não devem ser desenvolvidas usando o Claude.
Embora a publicação do anúncio oficial não destaque explicitamente as alterações em sua política de armas, uma comparação entre as antigas e as novas diretrizes de uso revela uma atualização significativa. Anteriormente, a Anthropic proibia amplamente o uso do Claude para "produzir, modificar, projetar, comercializar ou distribuir armas, explosivos, materiais perigosos ou outros sistemas projetados para causar danos ou perda de vidas humanas". A política revisada amplia essa proibição, proibindo especificamente o desenvolvimento de explosivos de alto rendimento, bem como de armas biológicas, nucleares, químicas e radiológicas (CBRN).
Em maio, a Anthropic introduziu as proteções "AI Safety Level 3" simultaneamente ao lançamento de seu novo modelo Claude Opus 4. Essas proteções têm o objetivo de tornar o modelo mais resistente ao jailbreak e ajudar a evitar que ele auxilie na criação de armas CBRN.
Em seu anúncio, a Anthropic também reconhece os riscos associados às ferramentas de IA agêntica, como o Computer Use, que permite que o Claude controle o computador de um usuário, e o Claude Code, que integra o Claude diretamente ao terminal de um desenvolvedor. "Esses recursos poderosos introduzem novos riscos, incluindo o potencial de abuso em escala, criação de malware e ataques cibernéticos", afirma a empresa.
Relacionado
- Anthropic lança novo serviço Claude para uso militar e de inteligência
- O Google desiste da promessa de não desenvolver armas de IA
A startup de IA está lidando com essas possíveis ameaças adicionando uma nova seção intitulada "Não comprometer sistemas de computador ou de rede" à sua política de uso. Essa seção inclui regras contra o uso do Claude para descobrir ou explorar vulnerabilidades, criar ou distribuir malware, desenvolver ferramentas para ataques de negação de serviço e atividades semelhantes.
Além disso, a Anthropic está flexibilizando sua política em relação a conteúdo político. Em vez de proibir toda a criação de conteúdo relacionado a campanhas políticas e lobby, a empresa agora só proibirá o uso do Claude para "casos de uso que sejam enganosos ou perturbadores para os processos democráticos, ou que envolvam o direcionamento de eleitores e campanhas". A Anthropic também esclareceu que seus requisitos para todos os casos de uso de "alto risco" - que se aplicam quando o Claude é usado para fazer recomendações a indivíduos ou clientes - são relevantes apenas para cenários voltados para o consumidor, não para uso comercial interno.
Artigo relacionado
Ollie aposta na privacidade para vencer a corrida dos assistentes de IA
Para ser realmente útil, um assistente de IA precisa compreender profundamente seu usuário. O Ollie, um assistente pessoal projetado para o dia a dia, opera com base na premissa de que isso não exige
Como o AI LIVE: Londres explorará a IA e a automação industrial
A cúpula reunirá executivos de alto escalão de todo o mundo para discutir os desafios urgentes enfrentados pelos setores globais, que vão desde as transformações impulsionadas pela IA até a volatilida
A Anthropic entra no mercado de tecnologia jurídica de IA à medida que a competição se intensifica
A Anthropic apresentou na terça-feira um conjunto de novas funcionalidades para chatbots, destinadas a oferecer suporte automatizado a escritórios de advocacia. Essas melhorias expandem o Claude for Legal, a plataforma específica para firmas lançada
Recomendações de tópicos especiais relacionados
Comentários (1)
Les mises à jour de politique me rappellent que les IA comme Claude sont des outils qui peuvent avoir des utilisations à double tranchant. 🔧 C'est rassurant de voir les entreprises prendre des initiatives, mais une réglementation internationale ne serait-elle pas plus efficace contre certains dangers ? En tout cas, voilà un pas dans la bonne direction.

A Anthropic atualizou a política de uso de seu chatbot de IA Claude para atender às crescentes preocupações com a segurança. Juntamente com regras mais rígidas de segurança cibernética, a empresa agora descreve explicitamente as categorias de armas perigosas que não devem ser desenvolvidas usando o Claude.
Embora a publicação do anúncio oficial não destaque explicitamente as alterações em sua política de armas, uma comparação entre as antigas e as novas diretrizes de uso revela uma atualização significativa. Anteriormente, a Anthropic proibia amplamente o uso do Claude para "produzir, modificar, projetar, comercializar ou distribuir armas, explosivos, materiais perigosos ou outros sistemas projetados para causar danos ou perda de vidas humanas". A política revisada amplia essa proibição, proibindo especificamente o desenvolvimento de explosivos de alto rendimento, bem como de armas biológicas, nucleares, químicas e radiológicas (CBRN).
Em maio, a Anthropic introduziu as proteções "AI Safety Level 3" simultaneamente ao lançamento de seu novo modelo Claude Opus 4. Essas proteções têm o objetivo de tornar o modelo mais resistente ao jailbreak e ajudar a evitar que ele auxilie na criação de armas CBRN.
Em seu anúncio, a Anthropic também reconhece os riscos associados às ferramentas de IA agêntica, como o Computer Use, que permite que o Claude controle o computador de um usuário, e o Claude Code, que integra o Claude diretamente ao terminal de um desenvolvedor. "Esses recursos poderosos introduzem novos riscos, incluindo o potencial de abuso em escala, criação de malware e ataques cibernéticos", afirma a empresa.
Relacionado
- Anthropic lança novo serviço Claude para uso militar e de inteligência
- O Google desiste da promessa de não desenvolver armas de IA
A startup de IA está lidando com essas possíveis ameaças adicionando uma nova seção intitulada "Não comprometer sistemas de computador ou de rede" à sua política de uso. Essa seção inclui regras contra o uso do Claude para descobrir ou explorar vulnerabilidades, criar ou distribuir malware, desenvolver ferramentas para ataques de negação de serviço e atividades semelhantes.
Além disso, a Anthropic está flexibilizando sua política em relação a conteúdo político. Em vez de proibir toda a criação de conteúdo relacionado a campanhas políticas e lobby, a empresa agora só proibirá o uso do Claude para "casos de uso que sejam enganosos ou perturbadores para os processos democráticos, ou que envolvam o direcionamento de eleitores e campanhas". A Anthropic também esclareceu que seus requisitos para todos os casos de uso de "alto risco" - que se aplicam quando o Claude é usado para fazer recomendações a indivíduos ou clientes - são relevantes apenas para cenários voltados para o consumidor, não para uso comercial interno.
Ollie aposta na privacidade para vencer a corrida dos assistentes de IA
Para ser realmente útil, um assistente de IA precisa compreender profundamente seu usuário. O Ollie, um assistente pessoal projetado para o dia a dia, opera com base na premissa de que isso não exige
Como o AI LIVE: Londres explorará a IA e a automação industrial
A cúpula reunirá executivos de alto escalão de todo o mundo para discutir os desafios urgentes enfrentados pelos setores globais, que vão desde as transformações impulsionadas pela IA até a volatilida
A Anthropic entra no mercado de tecnologia jurídica de IA à medida que a competição se intensifica
A Anthropic apresentou na terça-feira um conjunto de novas funcionalidades para chatbots, destinadas a oferecer suporte automatizado a escritórios de advocacia. Essas melhorias expandem o Claude for Legal, a plataforma específica para firmas lançada
Les mises à jour de politique me rappellent que les IA comme Claude sont des outils qui peuvent avoir des utilisations à double tranchant. 🔧 C'est rassurant de voir les entreprises prendre des initiatives, mais une réglementation internationale ne serait-elle pas plus efficace contre certains dangers ? En tout cas, voilà un pas dans la bonne direction.





Lar






