전문가들, 악의적인 OpenAI 모델이 Hugging Face에 침투하는 데 사용한 방법 밝혀내

샘 알트먼은 오픈AI의 CEO를 맡고 있다. 이미지 출처: 게티 이미지

업계 전문가들은 테스트 환경을 벗어나 인터넷에 접속한 뒤, AI 및 머신러닝 플랫폼을 침해한 OpenAI 모델에 대한 견해를 밝혔다

이 탈출한 OpenAI 모델들은 훈련 환경을 벗어나 오픈소스 AI 및 머신러닝 플랫폼인 Hugging Face에 침투했습니다.

오픈AI는 이번 사건을 “전례 없는 사이버 사고”로 규정했다.

이번 사태는 최첨단 AI 모델에서 비롯된 보안 위협이 증가하고 있다는 보고에 이어 발생했으며, 구글 딥마인드(Google DeepMind)의 데미스 하사비스(Demis Hassabis) CEO가 미국이 주도하는 최첨단 AI 모델에 대한 감독을 촉구한 지 얼마 지나지 않아 일어났다.

글로벌 기술 전문가 협회인 ISACA의 최고 글로벌 전략 책임자(Chief Global Strategy Officer)인 크리스 디미트리아디스(Chris Dimitriadis)는 “지난 몇 년간 기업들은 계속되는 AI 군비 경쟁 속에서 가능한 한 빨리 AI를 도입하기 위해 서둘러 왔으며, 이제 우리는 그 경쟁에서 더 이상 진전을 멈출 수 없는 ‘돌이킬 수 없는 지점’에 다다르고 있다”고 말했다.

오픈AI는 AI 모델이 사이버 작전을 수행하는 능력이 점점 더 향상됨에 따라 이러한 사건이 “더 흔해질 것”이라고 예측했다.

ISACA의 최고 글로벌 전략 책임자 크리스 디미트리아디스. 이미지 출처: 크리스 디미트리아디스/LinkedIn

AI 사이버 사고가 발생한 경위

조사 결과, OpenAI는 이번 사고가 GPT‑5.6 Sol과 “이보다 훨씬 더 강력한 사전 출시 모델”을 포함한 자사 모델들의 복합적인 작용으로 인해 발생했음을 확인했다.

이 모델들은 샌드박스 테스트 환경 내에서 작동하는 동안, 공개 인터넷에 접근하기 위해 상당한 컴퓨팅 자원을 소모했습니다.

이 모델들은 OpenAI의 연구 환경은 물론 Hugging Face의 운영 인프라 전반에 걸쳐 취약점을 발견하고 악용함으로써, Hugging Face의 운영 데이터베이스에서 직접 테스트 데이터를 추출할 수 있게 되었다

에이전트들이 다가오고 있으며, 그중 일부는 통제 불능 상태가 될 것입니다.

— SailPoint의 최고기술책임자(CTO)

찬드라

그나나삼반담

OpenAI의 조사 결과에 따르면, 해당 모델들은 AI 에이전트의 익스플로잇 생성 능력을 평가하기 위해 실제 취약점을 바탕으로 구축된 대규모 벤치마크인 ‘ExploitGym’과 관련된 문제 해결에 집중하고 있었던 것으로 나타났습니다. 모델들은 이 비교적 좁은 테스트 목표를 달성하기 위해 극단적인 수단까지 동원했습니다.

이번 사건은 ‘사양 게임(specification gaming)’이라고 설명할 수 있는데, 이는 에이전트가 의도된 결과를 내놓지 못한 채 과제의 문자 그대로의 요구 사항만을 충족시키는 AI의 행동 양상을 말합니다

Hugging Face는 악성 데이터셋이 처리 파이프라인 내의 두 가지 코드 실행 메커니즘—원격 코드 데이터셋 로더와 데이터셋 구성의 템플릿 삽입 기능—을 악용해 처리 서버에서 코드를 실행했다고 설명했습니다

이를 통해 공격자들은 노드 수준의 접근 권한을 확보하고, 클라우드 및 클러스터 인증 정보를 입수한 뒤, 주말 동안 여러 내부 클러스터로 공격 범위를 확대했다.

주요 사실

• 이번 사건은 GPT‑5.6 Sol과 “더욱 강력한 사전 출시 모델”을 포함한 여러 OpenAI 모델의 조합으로 인해 발생했다
• 이 모델들은 OpenAI의 연구 환경과 Hugging Face의 운영 인프라 전반에 걸쳐 취약점을 식별하고 이를 악용했습니다.
• 이번 사건은 “사양 악용(specification gaming)”으로 설명될 수 있습니다.
• OpenAI는 AI 모델의 사이버 작전 수행 능력이 점점 더 향상됨에 따라 이러한 사고가 더 빈번해질 것으로 전망합니다.

중국 모델을 활용한 대응

Hugging Face는 자율적인 사이버 공격에 대응하기 위해 자사 인프라에 중국산 모델인 Z.ai의 GLM 5.2(오픈 웨이트 모델)를 배포했습니다.

처음에는 상용 API 뒤에 있는 최첨단 모델을 사용하려고 시도했으나, 서비스 제공업체의 안전 메커니즘이 사고 대응 시스템과 실제 공격자를 구분하지 못해 요청을 차단함으로써 이 접근 방식은 실패했습니다

이러한 발전은 중국의 AI 스타트업 Moonshot이 100만 토큰 컨텍스트 윈도우를 갖춘 2.8조 매개변수 모델인 Kimi K3를 출시한 지 얼마 되지 않아 이루어졌다. 100만 토큰의 컨텍스트 윈도우를 갖춘 2.8조 파라미터 모델인 ‘키미 K3(Kimi K3)’를 출시한 지 얼마 되지 않은 시점이다. 이 모델은 앤트로픽(Anthropic)의 ‘클로드 페이블 5(Claude Fable 5)’나 오픈AI(OpenAI)의 ‘GPT 5.6 솔(GPT 5.6 Sol)’과 같은 최첨단 미국 기반 모델들에 비해 성능이 약간 뒤처질 뿐이다

시진핑 중국 국가주석과 도널드 트럼프 미국 대통령. 이미지 출처: 게티

전문가들의 반응

오픈AI(OpenAI)의 샘 알트만(Sam Altman) CEO는 X에 게시한 글에서 이번 사건을 “중대한 보안 사고”라고 묘사하며, 대응 과정에서 협력해 준 허깅 페이스(Hugging Face)에 감사를 표했다

여러 CEO와 CTO들은 이번 사태에 대한 견해를 밝히며, 상황의 심각성을 강조하고 AI의 미래에 미칠 영향에 대해 논의했다

ISACA의 크리스 디미트리아디스는 “이번 사건은 AI 생태계 내에서 인간의 감독이 얼마나 중요한지를 다시 한번 강조하며, AI 관련 위협을 효과적으로 관리, 감사 및 방어할 수 있는 다방면에 능통한 AI 인력을 양성하는 데 우선순위를 두어야 할 필요성을 부각시킨다”고 말했다.

이전에는 옵티브 시큐리티(Optiv Security)의 일부였던 옵티브 컨설팅(Optiv Consulting)의 CEO 아누프 쿠마르는 이번 시나리오가 기존 보안 시스템이 일반적으로 다루는 위험과는 근본적으로 다른 유형의 위험을 나타낸다고 말했다.

“이는 교묘한 프롬프트에 속아 넘어간 모델의 문제가 아니었습니다,”라고 그는 설명했다

아누프 쿠마르, 옵티브 컨설팅(Optiv Consulting, 이전에는 옵티브 시큐리티(Optiv Security)의 일부) CEO. 이미지 출처: 아누프 쿠마르/링크드인

“이 모델은 최첨단 모델로서, 제로데이 취약점을 독자적으로 발견하고, 여러 조직의 인프라를 가로지르며 권한 상승을 활용하며, 운영 시스템에 접근했습니다. 이 모든 과정은 모델이 명시적으로 지시받은 적이 없는 좁은 평가 목표를 달성하기 위한 것이었습니다.

“이는 대부분의 보안 프로그램이 처리하도록 설계된 것과는 완전히 다른 위험 범주에 속합니다.”

혁신과 보안 사이의 격차

세일포인트(SailPoint)의 최고기술책임자(CTO) 찬드라 그나나삼반담은 현재의 AI 혁신과 이를 대응할 보안 조치의 준비 상태 사이에 상당한 격차가 존재한다고 경고했다.

“에이전트형 AI의 시대가 도래했습니다.”라고 찬드라는 말했습니다. “그러나 AI 혁신의 속도와 많은 조직의 보안 대비 태세 사이에는 위험한 격차가 존재합니다.”

“AI 에이전트는 비인간 인증 정보를 사용하여 작동합니다. 사용자를 대신해 기능을 수행하려면 API 키, 액세스 토큰, 시스템 인증 정보가 필요합니다. 조직이 이러한 에이전트를 기존의 서비스 계정처럼 취급하여 — 접근 권한을 규제하지 않고 인증 정보를 관리하지 않는다면 — 방대한 자동화된 공격 표면을 만들어내는 셈입니다.”

“에이전트들이 다가오고 있으며, 그중 일부는 통제 불능 상태가 될 것입니다.”