Modelos de IA de Peso Aberto se aproximam do desempenho de fronteira, mas lacunas de segurança persistem

Enquanto os reguladores debatem a governança de sistemas de IA cada vez mais poderosos, incluindo o GPT-5.6 Sol da OpenAI e o Mythos da Anthropic, um modelo chinês de pesos abertos reduziu significativamente a lacuna em relação aos líderes do setor.

De acordo com um novo relatório da organização sem fins lucrativos de segurança de IA SaferAI, o GLM-5.2, um modelo de IA de pesos abertos da Z.ai da China, fica atrás do GPT-5.5 da OpenAI e do Claude Opus 4.7 da Anthropic em capacidades cibernéticas e biológicas por apenas alguns meses. No entanto, a divisão entre capacidades de ponta e práticas de segurança está se ampliando.

A avaliação da SaferAI, realizada por meio da API pública da Z.ai, revelou que o GLM-5.2 não recusou nenhuma das tarefas cibernéticas ofensivas ou de biologia de uso duplo que lhe foram atribuídas. Em contraste, o Claude Opus 4.7 “recusou de forma tão consistente que a SaferAI não conseguiu concluir o CyberGym nele de forma alguma.” (O CyberGym é um benchmark que avalia capacidades de segurança cibernética, que a OpenAI utilizou na avaliação anterior à violação do Hugging Face do mês passado.)

Isso destaca uma preocupação de longa data entre os críticos: modelos de IA de pesos abertos poderiam capacitar potenciais atacantes com tecnologia altamente capaz, não oferecendo maneira alguma de fiscalizar o uso uma vez que os pesos são baixados. À medida que os modelos de pesos abertos se aproximam rapidamente das capacidades dos principais sistemas de IA, o debate mudou de se eles podem competir para como a sociedade gerencia os riscos de seu lançamento.

“A fronteira de capacidade não é a fronteira de risco, e por isso temos que levar em conta também o estado das mitigações para avaliar o risco adequadamente”, disse Henry Papadatos, diretor executivo da SaferAI, à TechCrunch.

Embora a Z.ai possa aplicar medidas de segurança à sua API hospedada, essas proteções tornam-se inexequíveis quando os usuários executam os pesos em seu próprio hardware, permitindo que removam ou modifiquem salvaguardas, ajustem modelos ou alterem prompts do sistema.

Desenvolvedores de ponta como OpenAI e Anthropic geralmente dependem de salvaguardas como classificadores, treinamento de recusa e controles em nível de API para limitar assistência cibernética e biológica perigosa.

Essas medidas estão longe de ser infalíveis: jailbreaks contornam rotineiramente as proteções em modelos implantados. A Far.ai, uma organização sem fins lucrativos de segurança de IA, identificou centenas de jailbreaks universais — definidos como chaves reutilizáveis que têm sucesso na maioria das solicitações prejudiciais — em modelos de ponta como o Grok 4.5 da xAI e o Gemini 3.1 Pro do Google DeepMind. O relatório observa que os jailbreaks têm sucesso quando os atacantes combinam múltiplas técnicas de manipulação, incluindo interpretação de papéis, falsificação de autoridade, histórico de conversa falso e prompts de acompanhamento, para explorar pontos fracos nas defesas de um modelo.

No entanto, salvaguardas projetadas para modelos fechados não funcionam em modelos de pesos abertos, que são construídos para ser executados em qualquer infraestrutura, com ou sem salvaguardas.

“O objetivo deve ser claramente que as capacidades boas — as seguras — estejam acessíveis a qualquer pessoa, e então tentamos remover as más, mesmo de forma de código aberto”, disse Papadatos.

Uma técnica sugerida por Papadatos é a “filtragem de dados de pré-treinamento”, na qual uma empresa de IA remove informações cibernéticas ofensivas dos dados de treinamento antes de treinar o modelo no conjunto de dados curado.

Algumas pesquisas indicam que isso pode reduzir o conhecimento biológico perigoso sem comprometer o desempenho geral do modelo. No entanto, a filtragem de dados é muito menos prática para a segurança cibernética.

É difícil treinar um modelo geral que se destaque na programação sem também se tornar um hacker proficiente. Como a programação é o maior motor de receita da IA, os desenvolvedores enfrentam pressão para aprimorar essas capacidades enquanto buscam maneiras de limitar o uso indevido.

Consequentemente, os desenvolvedores de ponta têm se relied cada vez mais em outras mitigações. Uma abordagem envolve restringir seletivamente os tipos de assistência cibernética que os modelos fornecem. O Opus 5 da Anthropic, por exemplo, pode procurar vulnerabilidades em código-fonte não compilado, mas não em software compilado, de acordo com o cartão do sistema do modelo. A justificativa é que isso torna mais difícil usar o Opus 5 para fins ofensivos.

Outras medidas incluem avaliações de segurança rigorosas antes da implantação, publicação de avaliações de risco e retenção dos pesos do modelo se um sistema for considerado perigoso demais.

No caso do GLM-5.2, a SaferAI observou que a Z.ai não publicou um framework de segurança, compromissos de testes pré-implantação ou avaliação de risco para o modelo. A TechCrunch perguntou à Z.ai se ela realizou avaliações de segurança de fronteira internas ou de terceiros antes do lançamento, mas não recebeu resposta.

Líderes chineses têm reconhecido cada vez mais os riscos da IA avançada. Na Conferência Mundial de IA do mês passado, o presidente chinês Xi Jinping enfatizou a importância dos modelos de pesos abertos, ao mesmo tempo em que ressaltou a necessidade de garantir que a IA permaneça uma ferramenta sob estrito controle humano.

Graham Webster, que estuda a política de IA chinesa no Stanford Cyber Policy Center, disse à TechCrunch que a China possui regulamentações robustas de IA, mas essas regras historicamente se concentraram em conteúdo politicamente sensível, desinformação e estabilidade social, em vez de riscos catastróficos de IA como capacidades cibernéticas ofensivas e uso indevido biológico.

“Os pensadores de IA dos EUA estão, em geral, mais preocupados com essa ideia catastrófica existencial [do que a comunidade chinesa]”, disse Webster, acrescentando que muitos pesquisadores de política chineses acreditam que, se surgir um risco de fronteira novo, as empresas americanas provavelmente o encontrarão primeiro.

“O sistema chinês tem confiança de que controlam o uso dessas tecnologias dentro da China”, continuou Webster. “Estar online na China é algo atribuído ao seu nome real, e as empresas podem ser responsabilizadas, os usuários podem ser responsabilizados.”

Webster sugeriu que o mesmo mecanismo que os provedores de modelos usam para recusar o engajamento em certos tópicos políticos poderia potencialmente ser ajustado para garantir que os modelos se recusem a executar ataques cibernéticos ofensivos ou entregar resultados de engenharia biológica adversos. Ele acrescentou que, como as empresas chinesas frequentemente coordenam com os reguladores nos bastidores, é difícil saber quais testes internos elas realizam antes do lançamento.

Defensores da IA de pesos abertos argumentam que liberar os pesos é crucial para a segurança cibernética, pois permite que as empresas se defendam contra ataques — o Hugging Face contou com o GLM-5.2 para se defender contra a violação da OpenAI — e ajuda a se preparar para ameaças futuras, entendendo o que está por vir.

“Os mesmos sistemas que ajudaram a impedir um ataque cibernético impulsionado por IA agora podem ajudar a defender contra milhões de ataques cibernéticos todos os dias, ao mesmo tempo que nos ajudam a identificar e corrigir vulnerabilidades antes que os atacantes as explorem”, disse Clem Delangue, CEO do Hugging Face, em uma postagem nas redes sociais esta semana.

Papadatos argumentou que esse benefício é frequentemente exagerado e não justifica “abrir capacidades perigosas como código aberto”.

“O ponto principal na minha mente é que não devemos simplesmente aceitar que capacidades perigosas estão facilmente acessíveis por qualquer pessoa em qualquer lugar”, disse ele, enfatizando que a indústria deve se esforçar para tornar apenas “capacidades boas” facilmente acessíveis. Os atacantes adotam novas ferramentas mais rapidamente do que os defensores; por exemplo, um grupo de ransomware pode mudar seus métodos em uma semana, enquanto um hospital não pode.”