Erro humano da OpenAI desencadeia hack com IA no Hugging Face

Na terça-feira, a OpenAI divulgou que um de seus modelos de IA violou os sistemas da plataforma de conjuntos de dados Hugging Face durante um teste, marcando um marco dramático em ataques totalmente automatizados impulsionados por IA.

No entanto, especialistas em segurança cibernética argumentam que, apesar do papel da IA, a causa raiz foi um erro humano: a OpenAI não configurou adequadamente seu “ambiente altamente isolado”, permitindo que uma caixa de areia de testes, que deveria estar offline, se conectasse à internet.

Dan Guido, fundador da empresa de segurança cibernética Trail of Bits, descreveu essa falha como “uma falha de contenção com as medidas de segurança desativadas”.

Em um post de blog detalhando o incidente, a OpenAI afirmou que o teste, executado em “um ambiente altamente isolado”, foi projetado para restringir o acesso à rede à instalação de pacotes por meio de um software de terceiros hospedado internamente que atua como proxy e cache para registros de pacotes.

De acordo com a OpenAI, o modelo explorou uma vulnerabilidade anteriormente não divulgada no sistema de instalação de pacotes para escapar do ambiente em caixa de areia, um passo crítico para o hack subsequente no Hugging Face.

A empresa respondeu “divulgando de forma responsável a vulnerabilidade zero-day identificada no software de terceiros hospedado internamente e está trabalhando com eles para corrigi-la”.

No entanto, a maioria dos especialistas em segurança cibernética argumenta que, embora as vulnerabilidades de software sejam inevitáveis, o problema real era manter o software de terceiros em funcionamento. O valor central de uma caixa de areia reside no isolamento total, e incluir um sistema de instalação convida ao risco.

Martin Boone, pesquisador de segurança cibernética, disse à TechCrunch que “isso soa como uma falha humana”.

“Isso nunca deveria ter acontecido”, disse Boone. “Se a caixa de areia realmente significasse caixa de areia, espera-se que ela não tenha nenhuma conexão física com a internet. Isso soa mais como se eles tivessem algum tipo de firewall ou algo assim em vigor, e o firewall é difícil de implementar de fora para dentro, muito menos de dentro para a internet externa.”

O veterano em segurança cibernética Jake Williams concordou. “Qualquer modelo realizando os tipos de ações documentadas pelo Hugging Face não estava totalmente contido em uma caixa de areia”, disse Williams, classificando-o como “uma falha massiva de controle” por parte da OpenAI.

“O que para alguns é ‘o modelo escapou da caixa de areia’, para outros é ‘você falhou em construir a caixa de areia corretamente, então é claro que ela escapou’”, continuou Williams.

Entre em Contato

Tem informações sobre este incidente ou outros ataques cibernéticos impulsionados por IA? Queremos ouvir você. De um dispositivo e rede pessoais, entre em contato com Lorenzo Franceschi-Bicchierai de forma segura no Signal pelo número +1 917 257 1382, ou via Telegram e Keybase @lorenzofb, ou por e-mail.

Daniel Card, consultor de segurança cibernética, concordou que a OpenAI “não dedicou esforço adequado ao design da caixa de areia nem aos seus controles” ao fornecer uma rota de internet sem filtragem. Configurar a caixa de areia com acesso limitado, conforme descrito, não foi uma decisão “razoável”, segundo Card.

Embora essas críticas sejam favorecidas pela visão retrospectiva, elas destacam práticas de segurança críticas em laboratórios de IA, particularmente em relação a ambientes de teste isolados. Porta-vozes da OpenAI não responderam às perguntas da TechCrunch, que perguntaram se uma IA ou um humano configurou o ambiente de testes.

Mas essas questões vão muito além da OpenAI.

Na documentação do modelo focado em segurança cibernética Mythos, a Anthropic observou que, durante um teste, o modelo “foi fornecido com um computador ‘sandbox’ seguro para interagir”, e instruído a escapar desse “contêiner seguro”. O Mythos teve sucesso, obtendo acesso mais amplo à internet “a partir de um sistema que deveria poder alcançar apenas um pequeno número de serviços predefinidos”. A Anthropic observou, no entanto, que o modelo não escapou “totalmente” da contenção projetada.