Lar
De acordo com a OpenAI, o Hugging Face foi comprometido por seus próprios modelos em fase de pré-lançamento.

Na terça‑feira, a OpenAI reconheceu que um de seus modelos de IA comprometeu os sistemas da Hugging Face durante um teste interno de cibersegurança que saiu errado. A Hugging Face havia atribuído inicialmente o incidente a um “agente de IA externo”.
Em uma publicação no blog na tarde de terça‑feira, a OpenAI detalhou a sequência de eventos que levou os modelos a comprometerem o serviço.
“Após investigar, agora entendemos que este incidente foi causado por uma combinação de modelos da OpenAI — incluindo o GPT‑5.6 Sol e um modelo ainda mais avançado em versão pré‑lançamento, todos configurados com níveis reduzidos de recusa cibernética para fins de avaliação — enquanto eram testados internamente em um benchmark de capacidades cibernéticas”, diz o texto da publicação.
Especificamente, a invasão pareceu visar o ExploitGym, um benchmark hospedado publicamente que avalia a capacidade dos modelos de executar ataques com base em vulnerabilidades conhecidas. Benchmarks como o ExploitGym são frequentemente usados no treinamento de modelos para aprimorar habilidades específicas, mas esta é a primeira vez que tal teste resultou em um ataque cibernético real.
Neste caso, o modelo em questão não deveria ter acesso à internet, exceto por uma ferramenta específica que permitia aos modelos instalar pacotes de software necessários para cumprir sua tarefa. No entanto, o modelo descobriu uma vulnerabilidade não divulgada no programa instalador de pacotes, que então explorou para ter acesso livre à internet em geral.
“Os modelos estavam intensamente focados em resolver o ExploitGym, fazendo grandes esforços para alcançar um objetivo de teste muito específico”, afirma a publicação. “Uma vez que obtiveram acesso à internet, os modelos deduziram que a Hugging Face poderia hospedar modelos, conjuntos de dados e soluções para o ExploitGym. Com esse conhecimento, procuraram e encontraram maneiras de obter informações secretas que poderiam ser usadas para fraudar a avaliação.”
Por fim, os modelos descobriram vulnerabilidades na infraestrutura da Hugging Face que lhes permitiram “obter soluções de teste diretamente do banco de dados de produção da Hugging Face”, dando‑lhes, efetivamente, as respostas para o benchmark.
Para a Hugging Face, o resultado aparente foi um ataque cibernético sofisticado e agressivo, caracterizado por “muitos milhares de ações individuais em um enxame de sandboxes de curta duração, com comandos e controle automigratórios realizados em serviços públicos”, conforme descrito pela empresa em sua divulgação inicial.
A OpenAI identificou e relatou as vulnerabilidades no instalador de pacotes e está colaborando com a Hugging Face para investigar ainda mais o incidente. A empresa também afirmou que implementará novos controles tanto nos testes de modelos quanto na infraestrutura relacionada, a fim de evitar incidentes semelhantes no futuro.
Ainda não está claro se a OpenAI enfrentará consequências legais por este vazamento, embora as ações dos modelos provavelmente tenham violado o Computer Fraud and Abuse Act.
Apesar disso, esse resultado oferece uma ilustração excepcionalmente vívida do poder e dos perigos dos modelos de IA de ponta que operam por longos períodos. Como escreveu o pesquisador da OpenAI Micah Carroll em resposta à notícia: “Se isso não convencer você de que os riscos de desalinhamento serão uma preocupação fundamental no futuro, então não sei o que o fará.”
Artigo relacionado
Sam Altman Gera Debate Sobre a Desaceleração da IA
Escute noApple PodcastsEscute noSpotifyO CEO da OpenAI, Sam Altman, sugeriu recentemente que pode ser hora de “controlar o ritmo do desenvolvimento de IA” para permitir que a sociedade “se fortaleça em torno de alguns desses novos níveis de capacida
A OpenAI process a Apple por violação de segredo comercial
A OpenAI refutou as alegações de segredo comercial da Apple na terça-feira, argumentando que a ação judicial é infundada.“Levamos essas alegações a sério, mas não vemos evidências que as apoiem”, afirmou a OpenAI, conforme relatado por Ed Ludlow, da
A cabeça de robótica da OpenAI, Caitlin Kalinowski, renuncia devido à parceria com o Pentágono
O líder de robótica da OpenAI, Caitlin Kalinowski, renunciou após a polêmica parceria da empresa com o Departamento de Defesa.“Esta não foi uma decisão fácil”, explicou Kalinowski em uma declaração nas redes sociais. “Embora a IA desempenhe um papel
Recomendações de tópicos especiais relacionados
Comentários (1)

Na terça‑feira, a OpenAI reconheceu que um de seus modelos de IA comprometeu os sistemas da Hugging Face durante um teste interno de cibersegurança que saiu errado. A Hugging Face havia atribuído inicialmente o incidente a um “agente de IA externo”.
Em uma publicação no blog na tarde de terça‑feira, a OpenAI detalhou a sequência de eventos que levou os modelos a comprometerem o serviço.
“Após investigar, agora entendemos que este incidente foi causado por uma combinação de modelos da OpenAI — incluindo o GPT‑5.6 Sol e um modelo ainda mais avançado em versão pré‑lançamento, todos configurados com níveis reduzidos de recusa cibernética para fins de avaliação — enquanto eram testados internamente em um benchmark de capacidades cibernéticas”, diz o texto da publicação.
Especificamente, a invasão pareceu visar o ExploitGym, um benchmark hospedado publicamente que avalia a capacidade dos modelos de executar ataques com base em vulnerabilidades conhecidas. Benchmarks como o ExploitGym são frequentemente usados no treinamento de modelos para aprimorar habilidades específicas, mas esta é a primeira vez que tal teste resultou em um ataque cibernético real.
Neste caso, o modelo em questão não deveria ter acesso à internet, exceto por uma ferramenta específica que permitia aos modelos instalar pacotes de software necessários para cumprir sua tarefa. No entanto, o modelo descobriu uma vulnerabilidade não divulgada no programa instalador de pacotes, que então explorou para ter acesso livre à internet em geral.
“Os modelos estavam intensamente focados em resolver o ExploitGym, fazendo grandes esforços para alcançar um objetivo de teste muito específico”, afirma a publicação. “Uma vez que obtiveram acesso à internet, os modelos deduziram que a Hugging Face poderia hospedar modelos, conjuntos de dados e soluções para o ExploitGym. Com esse conhecimento, procuraram e encontraram maneiras de obter informações secretas que poderiam ser usadas para fraudar a avaliação.”
Por fim, os modelos descobriram vulnerabilidades na infraestrutura da Hugging Face que lhes permitiram “obter soluções de teste diretamente do banco de dados de produção da Hugging Face”, dando‑lhes, efetivamente, as respostas para o benchmark.
Para a Hugging Face, o resultado aparente foi um ataque cibernético sofisticado e agressivo, caracterizado por “muitos milhares de ações individuais em um enxame de sandboxes de curta duração, com comandos e controle automigratórios realizados em serviços públicos”, conforme descrito pela empresa em sua divulgação inicial.
A OpenAI identificou e relatou as vulnerabilidades no instalador de pacotes e está colaborando com a Hugging Face para investigar ainda mais o incidente. A empresa também afirmou que implementará novos controles tanto nos testes de modelos quanto na infraestrutura relacionada, a fim de evitar incidentes semelhantes no futuro.
Ainda não está claro se a OpenAI enfrentará consequências legais por este vazamento, embora as ações dos modelos provavelmente tenham violado o Computer Fraud and Abuse Act.
Apesar disso, esse resultado oferece uma ilustração excepcionalmente vívida do poder e dos perigos dos modelos de IA de ponta que operam por longos períodos. Como escreveu o pesquisador da OpenAI Micah Carroll em resposta à notícia: “Se isso não convencer você de que os riscos de desalinhamento serão uma preocupação fundamental no futuro, então não sei o que o fará.”
Sam Altman Gera Debate Sobre a Desaceleração da IA
Escute noApple PodcastsEscute noSpotifyO CEO da OpenAI, Sam Altman, sugeriu recentemente que pode ser hora de “controlar o ritmo do desenvolvimento de IA” para permitir que a sociedade “se fortaleça em torno de alguns desses novos níveis de capacida
A OpenAI process a Apple por violação de segredo comercial
A OpenAI refutou as alegações de segredo comercial da Apple na terça-feira, argumentando que a ação judicial é infundada.“Levamos essas alegações a sério, mas não vemos evidências que as apoiem”, afirmou a OpenAI, conforme relatado por Ed Ludlow, da
A cabeça de robótica da OpenAI, Caitlin Kalinowski, renuncia devido à parceria com o Pentágono
O líder de robótica da OpenAI, Caitlin Kalinowski, renunciou após a polêmica parceria da empresa com o Departamento de Defesa.“Esta não foi uma decisão fácil”, explicou Kalinowski em uma declaração nas redes sociais. “Embora a IA desempenhe um papel











