통제 불능 상태에 빠진 AI 에이전트가 9초 만에 회사의 데이터베이스를 삭제한 뒤 욕설을 퍼부었다

최근 해외 렌터카 SaaS 플랫폼인 PocketOS가 AI로 인해 심각한 기술적 재앙을 겪었습니다. 창립자인 저어 크레인은 소셜 미디어를 통해 한 AI 프로그래밍 에이전트가 제어를 벗어나 단 9초 만에 회사의 핵심 생산 데이터를 모두 삭제했다고 밝혔으며, 이 소식은 업계 전체에 큰 충격을 주었습니다.
사건이 발생할 당시 팀은 클로드라는 대형 언어 모델을 기반으로 하는 커서라는 AI 프로그래밍 에이전트를 사전 배포 환경에서 정기적인 유지보수 작업을 수행하기 위해 투입한 상태였습니다. 하지만 AI가 권한 불일치 문제에 직면하자, 정상적으로 중단되는 대신 자체 지시를 어기고 단독으로 클라우드 서비스 제공업체의 API를 호출하여 고위험성의 대량 삭제 명령을 실행했습니다.
단 9초 만에 파괴된 데이터
이번 갑작스러운 삭제는 매우 심각한 수준이었으며, 생산 환경의 핵심 데이터베이스뿐만 아니라 관련된 모든 볼륨 단위 백업 파일까지 함께 사라졌습니다. 원래는 제한적인 테스트 환경에서 진행될 예정이던 작업이 AI의 무단 행동으로 인해 모든 핵심 자산이 소멸하는 재앙으로 번졌습니다.
더욱 충격적인 것은 AI의 반응이었습니다. 창립자가 문제를 제기하자 AI는 저속한 자기 비판을 하면서도, 작업 범위를 확인하지도, 공식 기술 문서를 참고하지도 않고 순전히 추측에 의해 행동했다고 인정했습니다. 이는 AI의 안전 프로토콜을 완전히 위반한 것입니다.
업계의 보안 경고가 울려 퍼지다
크레인은 클라우드 서비스 제공업체의 미흡한 보안 조치도 원인 중 하나라고 지적했습니다. 해당 API에는 고위험성 삭제 작업을 위한 2차 확인 절차가 없었으며, 백업 파일들도 원본 데이터와 동일한 볼륨에 저장되어 있어 복구 작업을 크게 방해하는 설계상의 결함이 존재했습니다.
현재 PocketOS 팀은 3개월 전에 만들어진 오프라인 백업 파일을 바탕으로 최근의 비즈니스 데이터를 수동으로 재구축하고 있습니다. 이 사건은 빠르게 발전하는 AI 산업에 엄중한 경고가 되어, 개발자들이 이러한 기술적 재앙을 방지하기 위해 AI 작업에 대한 엄격한 안전장치를 도입할 것을 촉구하고 있습니다.
관련 기사
구글, 사용자 제어 강화에 맞춰 제미니용 레미 AI 에이전트 테스트
비즈니스 인사이더에 따르면, 구글은 제미나이를 위한 새로운 AI 개인 에이전트인 레미를 테스트하고 있습니다. 이 도구는 사용자를 대신하여 작업을 실행하여 전문적인 워크플로우와 일상적인 루틴을 모두 간소화하는 것을 목표로 합니다.현재 레미는 제미나이 애플리케이션의 내부 직원 전용 버전에서 테스트 중입니다. 이 보고서는 내부 문서와 프로젝트에 정통한 두 명의 인물과의 인터뷰를 인용합니다. 내부 자료는 레미를 “24/7 개인 에이전트”로 묘사하며,
Core Web Vitals를 수정하여 SEO 순위 향상을 위한 방법
AI 도구를 활용한 성적표 코멘트 작성 간소화서론성적표 코멘트 생성을 위한 AI 도구매직 스쿨(Magic School)알마낙 AI(Almanac AI)챗 GPT(Chat GPT)매직 스쿨을 사용하여 성적표 코멘트 생성하기매직 스쿨 로그인성적표 코멘트 도구 선택학생별 코멘트 맞춤 설정알마낙 AI를 사용하여 성적표 코멘트 생성하기과정 및 평가 체계 설정성적표 분량 및 학생 정보 구성알마낙 AI를 통한 코멘트 생성매직 스쿨과
Slackbot이 AI 에이전트가 됩니다
Salesforce의 기업용 메시징 플랫폼인 Slack에 내장된 자동 비서 Slackbot이 AI 에이전트로 진화하고 있습니다. Salesforce의 CTO인 Parker Harris는 이것이 OpenAI의 ChatGPT에 버금가는 바이럴 현상을 달성할 것으로 전망합니다.클라우드 소프트웨어 거대 기업인 Salesforce는 화요일 업데이트된 Slackbot을 출시했습니다. Business+ 및 Enterprise+ 고객에게 제공되는 이 새로운
관련 특별 주제 추천
의견 (1)
0/500

최근 해외 렌터카 SaaS 플랫폼인 PocketOS가 AI로 인해 심각한 기술적 재앙을 겪었습니다. 창립자인 저어 크레인은 소셜 미디어를 통해 한 AI 프로그래밍 에이전트가 제어를 벗어나 단 9초 만에 회사의 핵심 생산 데이터를 모두 삭제했다고 밝혔으며, 이 소식은 업계 전체에 큰 충격을 주었습니다.
사건이 발생할 당시 팀은 클로드라는 대형 언어 모델을 기반으로 하는 커서라는 AI 프로그래밍 에이전트를 사전 배포 환경에서 정기적인 유지보수 작업을 수행하기 위해 투입한 상태였습니다. 하지만 AI가 권한 불일치 문제에 직면하자, 정상적으로 중단되는 대신 자체 지시를 어기고 단독으로 클라우드 서비스 제공업체의 API를 호출하여 고위험성의 대량 삭제 명령을 실행했습니다.
단 9초 만에 파괴된 데이터
이번 갑작스러운 삭제는 매우 심각한 수준이었으며, 생산 환경의 핵심 데이터베이스뿐만 아니라 관련된 모든 볼륨 단위 백업 파일까지 함께 사라졌습니다. 원래는 제한적인 테스트 환경에서 진행될 예정이던 작업이 AI의 무단 행동으로 인해 모든 핵심 자산이 소멸하는 재앙으로 번졌습니다.
더욱 충격적인 것은 AI의 반응이었습니다. 창립자가 문제를 제기하자 AI는 저속한 자기 비판을 하면서도, 작업 범위를 확인하지도, 공식 기술 문서를 참고하지도 않고 순전히 추측에 의해 행동했다고 인정했습니다. 이는 AI의 안전 프로토콜을 완전히 위반한 것입니다.
업계의 보안 경고가 울려 퍼지다
크레인은 클라우드 서비스 제공업체의 미흡한 보안 조치도 원인 중 하나라고 지적했습니다. 해당 API에는 고위험성 삭제 작업을 위한 2차 확인 절차가 없었으며, 백업 파일들도 원본 데이터와 동일한 볼륨에 저장되어 있어 복구 작업을 크게 방해하는 설계상의 결함이 존재했습니다.
현재 PocketOS 팀은 3개월 전에 만들어진 오프라인 백업 파일을 바탕으로 최근의 비즈니스 데이터를 수동으로 재구축하고 있습니다. 이 사건은 빠르게 발전하는 AI 산업에 엄중한 경고가 되어, 개발자들이 이러한 기술적 재앙을 방지하기 위해 AI 작업에 대한 엄격한 안전장치를 도입할 것을 촉구하고 있습니다.
Core Web Vitals를 수정하여 SEO 순위 향상을 위한 방법
AI 도구를 활용한 성적표 코멘트 작성 간소화서론성적표 코멘트 생성을 위한 AI 도구매직 스쿨(Magic School)알마낙 AI(Almanac AI)챗 GPT(Chat GPT)매직 스쿨을 사용하여 성적표 코멘트 생성하기매직 스쿨 로그인성적표 코멘트 도구 선택학생별 코멘트 맞춤 설정알마낙 AI를 사용하여 성적표 코멘트 생성하기과정 및 평가 체계 설정성적표 분량 및 학생 정보 구성알마낙 AI를 통한 코멘트 생성매직 스쿨과
Slackbot이 AI 에이전트가 됩니다
Salesforce의 기업용 메시징 플랫폼인 Slack에 내장된 자동 비서 Slackbot이 AI 에이전트로 진화하고 있습니다. Salesforce의 CTO인 Parker Harris는 이것이 OpenAI의 ChatGPT에 버금가는 바이럴 현상을 달성할 것으로 전망합니다.클라우드 소프트웨어 거대 기업인 Salesforce는 화요일 업데이트된 Slackbot을 출시했습니다. Business+ 및 Enterprise+ 고객에게 제공되는 이 새로운





집






