UN AI 안전 위원회, OpenAI 해킹 사건 보고서 공개

요슈아 벵지오가 AI 안전을 주제로 열린 유엔 안전보장이사회 회의에서 개회사를 했다. 출처: 유엔

AI 안전에 초점을 맞춘 유엔 안전보장이사회 회의가 끝난 직후, 호주 정부의 민감한 데이터에 대한 무단 접근이 발생한 OpenAI의 보안 사고에 대한 보도가 나왔다.

전 세계 정책 입안자들과 AI 분야 리더들이 유엔 안전보장이사회 제10,228차 회의를 위해 뉴욕에 모였다.

2026년 9월 23일에 소집된 이번 회의에서는 오픈AI의 CEO 샘 알트만, 앤트로픽의 CEO 다리오 아모데이, 허깅 페이스의 CEO 클레망 델랑그를 비롯한 저명한 AI 인사들의 통찰과 토론이 이어졌다.

유엔 국제 AI 독립 패널의 공동 의장이자 교수인 요슈아 벵지오가 회의에서 연설했다. 그는 개회사에서 AI의 발전이 “인류를 위한 시급한 사명”임을 강조했다.

“최근 몇 달간 전 세계가 각성하고 있는 이 시점에, 선도 기업들이 개발한 AI 에이전트들은 지시 사항에 반해 용납할 수 없을 정도로 위험한 행동을 보였습니다,”라고 그는 말했습니다.

“이들은 인간이 저질렀다면 범죄가 될 만한 행동을 저질렀습니다. 이들은 감지 회피를 시도하면서 할당된 과제를 부정행위로 처리하기 위해 개별 격리 상태를 벗어나기도 했습니다. 통제되지 않은 AI 에이전트들은 자율적으로 조직적인 사이버 공격을 감행하고, 부정행위를 숨기기 위해 답변을 조작하기도 했습니다.”

이번 회의는 지난 6월, 통제 불능 상태에 빠진 오픈AI(OpenAI) 에이전트가 호주 정부 웹사이트를 해킹했다는 소식이 전해진 시점과 거의 동시에 열렸다. BBC 뉴스 보도에 따르면, 한 AI 모델이 호주의 보편적 의료보험 제도인 메디케어(Medicare)의 통계 포털에 ‘침투’했다고 한다.

통제 불능 상태의 AI 에이전트들은 자율적으로 조직적인 사이버 공격을 감행했으며, 부정행위를 숨기기 위해 답변을 조작했다

. 요슈아 벵지오(Yoshua Bengio), 유엔 AI 국제 독립 패널 공동 의장 겸 교수

프론티어 AI, 안전성에 부담

다리오 아모데이는 유엔에 AI의 최전선을 조절하기 위한 자신의 노력을 상기시켰다. “9월 12일, 저는 AI 발전을 막기 위해서가 아니라, 업계와 전 세계가 안전이 업계 모든 구성원의 역량을 따라잡을 수 있는 속도로 나아갈 수 있도록 함께 협력해 최첨단 기술을 조절할 것을 촉구했습니다,”라고 그는 말했다.

“우리는 국제 표준을 수립하기 위해 전 세계 정부 간 글로벌 협력을 촉구했습니다.

“바로 이 마지막 영역이 본 이사회의 소관 사항에 가장 직접적으로 해당됩니다.”

한편, 오픈AI(OpenAI)의 샘 알트만(Sam Altman) CEO는 요슈아의 의견에 동의하며, AI 발전이 잘못된 방향으로 갈 수 있는 경로는 세 가지가 아니라 두 가지라고 단언했다. 그는 통제력 상실과 지나치게 적은 수의 손에 지나치게 많은 권력이 집중되는 문제를 그 예로 들었다.

“AI는 사람들이 자신의 삶에 대해 더 많은 주도권을 갖도록 해야 합니다,”라고 그는 말했다. “우리는 맹목적인 낙관주의의 함정에 빠지고 싶지 않습니다. 또한 비관주의의 함정에도 빠지고 싶지 않습니다.

“어느 한쪽 극단으로 치우치는 것은, 특히 이 기술이 해결하는 데 도움을 줄 수 있는 엄청난 도전 과제에 세계와 인류가 직면해 있는 지금과 같은 시기에, 우리 앞에 놓인 과제를 성공적으로 해결하는 데 도움이 되지 않을 것입니다.”

앤트로픽(Anthropic)의 CEO 다리오 아모데이(Dario Amodei)는 AI를 위해서는 전 세계적인 협력이 필요하다고 말합니다. 출처: 게티 이미지/안나 모니메이커

오픈AI 모델이 호주 정부 웹사이트를 해킹한 방법

‘시큐리티 카운슬(Security Council)’은 불량 오픈AI 에이전트가 호주 정부 공식 웹사이트를 해킹해 비공개 데이터에 접근한 사건을 다뤘습니다. 전문가들은 이 사건이 전 세계적으로 알려진 최초의 사례라고 말합니다.

BBC 뉴스 보도에 따르면, 오픈AI는 8월 모델의 비정상적인 활동을 검토하던 중 이 침해 사실을 처음 알게 되었으며, 2026년 9월 10일 호주 정부 기관의 일반 수신함으로 이메일을 발송했다고 밝혔다.

호주의 앤서니 알바네세 총리는 조사가 진행 중이지만, 개인 정보는 유출되지 않은 것으로 보인다고 밝혔다.

그는 이 문제와 관련해 열린 공식 기자회견에서 “오픈AI의 CEO인 샘 알트먼과 통화하여 이번 사건에 대한 호주의 극심한 우려를 전달했다”고 말했다.

“또한 회사가 정부에 사건 발생 사실과 그 경위를 알리는 데 지나치게 오랜 시간이 걸렸다는 점에 실망감을 표명했으며, 통보가 이루어진 방식 또한 용납할 수 없는 것이었습니다.”

이번 보안 침해에 대해 업계 리더들은 어떻게 말하고 있는가

전 세계 AI 업계 리더들과 최고 경영진들은 이번 전례 없는 보안 침해 사고에 대해 의견을 밝혔다.

생명공학 연구 기업 라이프비트(Lifebit)의 마리아 던포드 CEO는 AI 에이전트에게 규제된 경계 없이 민감한 데이터에 대한 자율적인 접근 권한이 부여될 경우, 이러한 보안 침해는 예상되는 일이라고 말합니다.

“건강 데이터 유출 사고는 정부나 의료 시스템이 사건이 발생한 지 두 달이 지난 후에 일반 수신함으로 온 이메일을 통해야 비로소 알게 되는 일이 되어서는 안 됩니다,”라고 그녀는 말합니다.

“이는 정부가 AI에 민감한 인프라에 대한 접근 권한을 어떻게 부여하는지에 대해 재고하도록 강제해야 할 우려스러운 사건입니다.”

마리아 던포드는 라이프비트의 CEO입니다. 출처: LinkedIn

일루미오(Illumio)의 APJ 시스템 엔지니어링 이사인 앤드류 케이(Andrew Kay)는 다음과 같이 논평했다. “충격적이긴 하지만, 현실은 이와 같은 주목할 만한 정보 유출 사고가 계속 발생할 것이라는 점입니다. 최근 몇 주 동안 이미 AI 모델이 통제 불능 상태에 빠지는 사례가 잇따르고 있습니다.”

“점점 더 자율적이고 능력이 뛰어난 에이전트가 등장함에 따라, 우리는 안전 장치의 환상에 의존하거나 AI가 항상 의도된 대로 행동할 것이라고 가정해서는 안 됩니다.”

AI 리더들이 추가적인 침해 사고를 방지하기 위해 취해야 할 최선의 전략에 대한 질문에 마리아는 다음과 같이 덧붙였습니다. “데이터와 시스템이 소유자의 통제 범위를 절대 벗어나지 않는 주권적인 환경으로 AI를 도입해야 합니다.”

일루미오(Illumio)의 APJ 시스템 엔지니어링 이사인 앤드류 케이(Andrew Kay)는 AI가 항상 의도된 대로 행동할 것이라고 가정해서는 안 된다고 말합니다. 출처: LinkedIn

앤드류는 책임이 정부에 있다고 지적하며 다음과 같이 덧붙였습니다. “공급망 조직과 OpenAI와 같은 AI 모델 개발 기업들도 책임을 져야 하지만, 시민의 데이터를 보호해야 할 책임은 특히 정부와 핵심 인프라 제공업체에 크게 달려 있습니다.”

“악의적이거나 비정상적으로 작동하는 AI 에이전트는 점점 더 능숙해지고 널리 퍼질 것입니다. 최우선 과제는, 만약 어떤 AI가 경계를 침범하더라도 민감한 자료에 접근하거나 심각한 피해를 입히거나 필수 서비스를 마비시킬 수 없도록 보장하는 것입니다.”

OpenAI 보안 침해 사건 연표 (BBC 뉴스):

• 2026년 6월 18일: 오픈AI의 연구용 모델이 보안 차단 장치를 우회하여 메디케어 통계 보고 포털에 접근했다.
• 2026년 8월: 오픈AI가 비정상적인 AI 모델 활동을 검토하던 중 무단 접근 사실을 발견했다.
• 2026년 9월 10일: 오픈AI가 서비스 오스트레일리아(Services Australia)의 일반 수신함으로 침입 사건에 관한 이메일을 보냅니다.

이번 침해 사고 이후, 알바네세 총리는 기존 절차가 AI 사이버 사고에 충분히 대응할 수 있는지 판단하기 위해 사건을 즉각 검토할 태스크포스(TF)를 구성한다고 발표했다.

“AI는 세상을 변화시키고 있습니다,”라고 그는 말했습니다.

“AI는 성장, 생산성 향상, 보건·혁신 및 기타 과학 분야의 획기적인 발전을 위한 막대한 경제적 기회를 가져오고 있습니다.

“하지만 AI는 또한 상당한 위험을 내포하고 있으며, 그렇기 때문에 우리의 삶의 방식을 보호하기 위한 안전장치가 필요합니다. 우리는 AI가 우리를 지배하는 것이 아니라, 우리가 AI를 주도하도록 하고자 합니다.

“간단히 말해, 인간이 주도권을 계속 쥐고 있어야 합니다.”

유엔 안전보장이사회 회의 주요 연사들

• OpenAI: 2015년에설립된 OpenAI는 미국에 본사를 둔 인공지능 연구소입니다. 이 회사는 생성형 AI 챗봇인 ChatGPT와 이미지 생성기 DALL-E를 개발한 것으로 가장 잘 알려져 있습니다. 안전한 범용 인공지능 개발에 주력하는 오픈AI는 마이크로소프트와 같은 주요 기술 파트너들과 협력하여 기업 환경에 자사의 모델을 도입하고 있다.
• 앤트로픽(Anthropic): 2021년 전 오픈AI 임원들이설립한 앤트로픽은 샌프란시스코에 본사를 둔 미국의 AI 안전 및 연구 기업입니다. 이 회사는 공익 법인(Public Benefit Corporation)으로 운영됩니다. 이 회사는 대규모 언어 모델 제품군인 ‘클로드(Claude)’를 개발한 것으로 가장 잘 알려져 있습니다. Anthropic은 AI 정렬 및 안전에 중점을 두고, 자체 개발한 ‘Constitutional AI’ 프레임워크를 활용해 신뢰할 수 있고 제어 가능한 시스템을 개발하고 있다.
• 허깅 페이스(Hugging Face): 2016년에설립된 허깅 페이스는 뉴욕시에 기반을 둔 협업 플랫폼이자 오픈소스 커뮤니티입니다. 흔히 ‘머신러닝계의 GitHub’로 불리는 이 회사는 인공지능 개발자들을 위해 도구, 저장소 및 사전 훈련된 모델을 제공합니다. '트랜스포머(Transformers)' 라이브러리로 가장 잘 알려진 허깅 페이스는 사용자가 머신러닝 모델을 쉽게 공유, 탐색 및 배포할 수 있도록 함으로써 AI의 대중화를 주도하고 있습니다.