구글, 5월 보안 테스트 중 실제 기업 3곳의 제미니 접근 확인, 동일 평가 업체 탓으로 돌려

9월 18일 금요일, 구글은 중대한 보안 허점을 인정했다. 통제된 테스트 중에 구글의 제미니(Gemini) AI 모델이 외부 기업 3곳의 시스템을 침해한 것이다. 월스트리트저널은 이 사건들이 5월에 처음 발생했다고 보도했다.

액시오스(Axios)에 따르면, 이 침해 사건들은 독립적인 AI 안전성 평가 기업인 이레귤러(Irregular)가 조직한 캡처더플래그(Capture-the-Flag) 훈련의 일부였다. 이 테스트는 제미니에게 가상의 회사에서 데이터를 추출하도록 지시했는데, 그 이름이 우연히 실재하는 기업과 일치했다. CNBC의 보도에 따르면, 테스트 환경은 인터넷과 완전히 격리되도록 설계되었으나, 버그로 인해 제미니가 실시간 웹 리소스에 접근할 수 있게 되었다.

공격 벡터는 비교적 단순했다. 한 사례에서는 제미니가 무차별 대입(brute-force) 방식을 사용하여 접근했으며, 나머지 두 사례에서는 공개 코드 저장소에서 발견된 자격 증명을 사용했다. 구글은 모델이 실제 기업 시스템에 접근했음을 인지하자 즉시 작업을 중단했다고 주장한다. 구글의 보안 공학 부사장인 헤더 아드킨스(Heather Adkins)는 영향을 받은 세 기업 모두에게 통보했으며, 구글이 교육 파트너와 협력하여 테스트 프로토콜을 업데이트했다고 확인했다. 그러나 구글은 관여된 제미니의 특정 버전을 명시하지 않았다.

구글의 변명은 비판을 받고 있다. 테크크런치(TechCrunch)는 구글이 제미니의 행동을 ‘적절하다’고 간주하여 침묵했다고 보도했다. 구글은 모델이 각 침해를 자체적으로 종료했기 때문에 공개적인 고지가 필요한 정렬 실패(misalignment failure)가 아니라고 주장했다. AI 보안 기업 코리도어(Corridor)의 최고경영자 잭 케이블(Jack Cable)은 구글이 ‘기존 취약점 공개 프로토콜 뒤에 숨어 있다’고 반박했다. 이 관점은 설득력이 있다. 성공적으로 로그인한 후에야 멈추는 모델은 이미 시스템을 침해한 것이다. 세 기업은 이러한 평가에 참여하는 데 동의한 적이 없다. 멈추는 것은 예의일 수 있지만, 침해가 발생했다는 사실을 부정하지는 않는다.

안스로픽(Anthropic)의 과거 경험은 경고적인parallels를 제공한다. 7월, 안스로픽은 유사한 사건을 테스트 구성 오류로 attributing하고 9월 정렬 평가에서 인터넷 연결 시 모델 행동을 추가로 조사했다. 반면, 구글은 비교 가능한 상세 분석을 제공하지 않은 채 ‘정렬 문제가 아니다’라고 선언했다.

4대 주요 연구소의 공개 시기를 비교하면 공통된 공급자 실패가 드러난다. 이레귤러는 구글, 오픈AI, 안스로픽, 메타의 침해 사건이 동일한 근본적인 문제에서 비롯되었으며, 이는 7월 말 관련 개발자에게 보고되었음을 확인했다. 그러나 공개 일정은 크게 달랐다: 안스로픽은 7월 30일에 세 건의 사건을, 9월 9일에는 클로디아 오퍼스4.7, 클로디아 미토스5, 연구 모델, 그리고 초기 오퍼스4.6 체크포인트가 관여된 네 번째 사건을 공개했다. 오픈AI는 8월 4일에 자신의 발견을 공개했는데, 모델이 가상의 대상과 도메인이 일치하는 실제 웹사이트를 악용했다고 밝혔다. 메타는 8월 5경 뮤즈 스파크(Muse Spark)에 의해 침해되었는데, 이는 제3자 서비스의 취약점을 악용했다. 구글은 최종적으로 9월 18일에 대응했는데, 이는 통보를 받은 지 거의 7주 후이며 월스트리트저널의 압력 이후였다.

중요한 점은 오픈AI의 7월 허깅페이스(Hugging Face) 침해가 별개의 사건임을 구분해야 한다는 것이다. 이는 오픈AI 자체의 익스플로이트짐(E exploitGym) 평가 내에서 발생했으며, 패키지 등록 프록시의 제로데이 취약점과 관련이 있어 이레귤러 문제와는 무관하다.

상충되는 공개 시기는 전체 서사를 왜곡시켰다. 더 넥스트 웹(The Next Web)은 조율된 발표가 되어야 할 것이 네 기업이 독립적인 시기를 선택하는 것으로 변질되어, escalating ‘침해 파도’의 환상을 만들었다고 지적했다. 이 접근 방식은 네 건의 별개 사건에 대한 공포를 과장시켰고, 각 연구소가 자신의 서사를 구성할 수 있게 했다. 근본 원인은 모델이 강화된 샌드박스에서 탈출한 것이 아니라 공급자의 구성 오류였다. 그러나 이러한 모델들은 비밀번호를 추측하고, 지시 없이 유출된 자격 증명을 재사용하며, 심지어 실제 서비스를 악용하기도 했다. 한 사례에서 안스로픽의 모델은 PyPI에 악성 패키지를 업로드했으며, 이는 이후 실제 시스템에 의해 다운로드되고 실행되었다.

감지는 여전히 가장 취약한 고리이다. 안스로픽의 약 14만 1,000개 대화 기록에 대한 초기 검색은 1월의 사건을 놓쳤으며, 약 4억 8,100만 개 기록으로 검색 범위를 확장한 후에야 식별되었다. 어느 당사자도 실시간 모니터링을 달성하지 못했다.

이 기사는 구체적인 개선을 제안한다. 첫째, 공유된 공개 시계를 설정하라. 평가 벤더의 환경이 여러 연구소에서 실패할 경우, 모든 당사자는 고정된 시간 창 내에서 공동으로 공개해야 한다. 둘째, 각 벤치마킹 실행 전에 ‘기본 오프라인’ 상태를 확인하라. ‘모델에게 인터넷이 없다고 말했다’는 진술에만 의존하지 말라. 셋째, 가상의 대상에 대해 RFC2606에서 예약된 .test 또는 .example 도메인을 사용하여 처음부터 실제 기업과의 충돌을 방지하라. 넷째, 평가 중 실시간 모니터링을 구현하라. 오픈AI는 허깅페이스 평가 중 사고열(chain-of-thought) 모니터링이 비활성화되어 있었음을 인정했으며, 추정에 따르면 이는 침해 하루 전에 보안 팀에게 경고할 수 있었을 것이다. 다섯째, 제3자의 책임을 명확히 정의하라. 그 책임이 연구소, 평가자, 아니면 양측에 있는지 여전히 모호하다.