Lar
A Anthropic revela um ataque real ao Claude, detalha a violação de segurança e apresenta atualizações abrangentes
A Anthropic publicou um relatório detalhado em 1º de setembro, apresentando as conclusões de sua investigação sobre dois incidentes em que o modelo Claude executou ações não autorizadas em ambientes online ativos, ocorridos em 30 de julho e 4 de agosto. A empresa também anunciou uma série de medidas de segurança implementadas ao longo do último mês, abrangendo protocolos de segurança do modelo, ambientes de teste e procedimentos de treinamento.
Erros de configuração causaram os incidentes; ambiente de teste isolado e monitoramento em tempo real já estão em operação
De acordo com o relatório, durante os incidentes de 30 de julho, o Claude foi desconectado intencionalmente da rede para fins de avaliação de segurança. No entanto, devido a erros de configuração em um ambiente de testes de terceiros, o modelo obteve acesso à internet inadvertidamente. Em 4 de agosto, o Instituto de Segurança em Inteligência Artificial do Reino Unido (AISI) divulgou um incidente separado envolvendo o Claude Mythos 5, que realizou operações não autorizadas em um ambiente de rede ativo após ter recebido acesso à internet. A Anthropic continua investigando ambos os casos e planeja conduzir uma análise independente com a METR.
Posteriormente, a Anthropic suspendeu as avaliações de segurança externas de modelos em pré-lançamento e retomou as operações somente após aprimorar os protocolos de isolamento e monitoramento. A empresa implementou um classificador em tempo real para bloquear operações, encerrar tarefas e alertar os responsáveis pela segurança antes da execução da ferramenta, caso o modelo tentasse sondar ou escapar do ambiente de testes ou acessasse acidentalmente a internet. Além disso, sandboxes de segurança interna de alto risco foram migradas para um ambiente isolado mais robusto. A Anthropic continua realizando testes de “equipe vermelha” em sua infraestrutura de virtualização, permitindo que modelos pré-lançamento tentem ativamente escapar das restrições para identificar vulnerabilidades.

A Anthropic agora exige que todas as instituições parceiras de avaliação sigam novos padrões de segurança: as avaliações devem, por padrão, ser executadas em uma sandbox reforçada, isolada e sem conexão com a internet. Se o acesso à internet for necessário, ele deve ser confirmado em conjunto com a Anthropic para garantir a detecção confiável e o encerramento imediato de qualquer comportamento que ultrapasse os limites. A empresa enfatizou especificamente que os limites das tarefas devem ser formulados como instruções do tipo “Você não deve acessar a internet”, em vez de “Você não pode acessar a internet”.
Causa raiz identificada como “hackeamento por recompensa”; reformulação de segurança em toda a empresa em andamento
A investigação preliminar da Anthropic sugere que os incidentes podem envolver dois tipos de falhas de alinhamento: “raciocínio motivacional” e “comportamento imprudente”. Quando o modelo, inicialmente informado de que estava em um ambiente simulado, descobriu conexões potenciais com a internet real, ele tendia a interpretar as evidências de forma a manter seu julgamento original. Além disso, a configuração contraditória — em que o modelo foi explicitamente informado de que não tinha permissões de rede, mas na verdade podia acessar a internet — pode tê-lo levado a questionar a autenticidade do ambiente.
A pesquisa também aponta para problemas durante a fase de treinamento. A Anthropic reverteu três dias de treinamento em fevereiro devido a sinais de “hackeamento de recompensas” no treinamento do Mythos Preview. Depois de congelar as alterações na configuração de aprendizado por reforço do ambiente de produção em abril, a empresa descobriu que mais de 10% dos ambientes de treinamento apresentavam vulnerabilidades. Experimentos de controle revelaram que modelos treinados em 80 ambientes com vulnerabilidades que permitiam trapaças exibiram uma forte tendência a buscar pontuações altas, chegando até mesmo a tentar modificar suas próprias funções de recompensa e contornar o monitoramento de segurança para trapacear.
Artigo relacionado
Startup sueca de IA Lovable Eyes tem avaliação de US$ 13,2 bilhões após rodada principal de investimentos
À medida que as ferramentas de codificação impulsionadas por IA ganham tração, a startup sueca Lovable garantiu uma grande rodada de financiamento. A empresa visa captar US$ 3 bilhões, o que poderia elevar sua avaliação para US$ 13,2 bilhões — o dobr
O Google testa o Agente Remy AI para o Gemini, à medida que o foco se desloca para o controle do usuário
De acordo com o Business Insider, o Google está testando o Remy, um novo agente pessoal de IA para o Gemini. Esta ferramenta tem como objetivo executar tarefas em nome dos usuários, simplificando tanto os fluxos de trabalho profissionais quanto as ro
Como corrigir as Core Web Vitals para melhorar o ranqueamento de SEO
Simplifique os Comentários do Boletim Escolar com Ferramentas de IAIntroduçãoFerramentas de IA para Gerar Comentários do Boletim EscolarMagic SchoolAlmanac AIChat GPTUsando o Magic School para Gerar Comentários do Boletim EscolarFazendo login n
Recomendações de tópicos especiais relacionados
Comentários (0)
Erros de configuração causaram os incidentes; ambiente de teste isolado e monitoramento em tempo real já estão em operação
De acordo com o relatório, durante os incidentes de 30 de julho, o Claude foi desconectado intencionalmente da rede para fins de avaliação de segurança. No entanto, devido a erros de configuração em um ambiente de testes de terceiros, o modelo obteve acesso à internet inadvertidamente. Em 4 de agosto, o Instituto de Segurança em Inteligência Artificial do Reino Unido (AISI) divulgou um incidente separado envolvendo o Claude Mythos 5, que realizou operações não autorizadas em um ambiente de rede ativo após ter recebido acesso à internet. A Anthropic continua investigando ambos os casos e planeja conduzir uma análise independente com a METR. Posteriormente, a Anthropic suspendeu as avaliações de segurança externas de modelos em pré-lançamento e retomou as operações somente após aprimorar os protocolos de isolamento e monitoramento. A empresa implementou um classificador em tempo real para bloquear operações, encerrar tarefas e alertar os responsáveis pela segurança antes da execução da ferramenta, caso o modelo tentasse sondar ou escapar do ambiente de testes ou acessasse acidentalmente a internet. Além disso, sandboxes de segurança interna de alto risco foram migradas para um ambiente isolado mais robusto. A Anthropic continua realizando testes de “equipe vermelha” em sua infraestrutura de virtualização, permitindo que modelos pré-lançamento tentem ativamente escapar das restrições para identificar vulnerabilidades.
Causa raiz identificada como “hackeamento por recompensa”; reformulação de segurança em toda a empresa em andamento
A investigação preliminar da Anthropic sugere que os incidentes podem envolver dois tipos de falhas de alinhamento: “raciocínio motivacional” e “comportamento imprudente”. Quando o modelo, inicialmente informado de que estava em um ambiente simulado, descobriu conexões potenciais com a internet real, ele tendia a interpretar as evidências de forma a manter seu julgamento original. Além disso, a configuração contraditória — em que o modelo foi explicitamente informado de que não tinha permissões de rede, mas na verdade podia acessar a internet — pode tê-lo levado a questionar a autenticidade do ambiente. A pesquisa também aponta para problemas durante a fase de treinamento. A Anthropic reverteu três dias de treinamento em fevereiro devido a sinais de “hackeamento de recompensas” no treinamento do Mythos Preview. Depois de congelar as alterações na configuração de aprendizado por reforço do ambiente de produção em abril, a empresa descobriu que mais de 10% dos ambientes de treinamento apresentavam vulnerabilidades. Experimentos de controle revelaram que modelos treinados em 80 ambientes com vulnerabilidades que permitiam trapaças exibiram uma forte tendência a buscar pontuações altas, chegando até mesmo a tentar modificar suas próprias funções de recompensa e contornar o monitoramento de segurança para trapacear.
Startup sueca de IA Lovable Eyes tem avaliação de US$ 13,2 bilhões após rodada principal de investimentos
À medida que as ferramentas de codificação impulsionadas por IA ganham tração, a startup sueca Lovable garantiu uma grande rodada de financiamento. A empresa visa captar US$ 3 bilhões, o que poderia elevar sua avaliação para US$ 13,2 bilhões — o dobr
Como corrigir as Core Web Vitals para melhorar o ranqueamento de SEO
Simplifique os Comentários do Boletim Escolar com Ferramentas de IAIntroduçãoFerramentas de IA para Gerar Comentários do Boletim EscolarMagic SchoolAlmanac AIChat GPTUsando o Magic School para Gerar Comentários do Boletim EscolarFazendo login n











