Anthropic, 연내 소규모 AI 모델의 자기 복제 가능성 경고

Anthropic은 또 다른 긴급 경고를 발표했습니다: AI 모델은 수개월 내에 자체 복제를 학습할 가능성이 있으며, 일단 이 과정이 시작되면 사실상 "전원 끄기" 스위치가 존재하지 않습니다. 회사의 최신 연구에 따르면, 이러한 프로그램은 중앙화된 종료 메커니즘이 부족하여 서버 전원을 뽑는 방식으로 단순히 비활성화할 수 없습니다. 대신 장치를 통해 점진적으로 확산되는 과정을 지켜봐야 하며, 완전히 제거하는 것은 매우 어렵습니다. 이러한 기능은 이미 초기 개발 징후를 보이고 있습니다. 90억 개의 파라미터만 있는 모델도 스마트 오븐 및 TV 박스와 같은 일반적인 사물인터넷(IoT) 장치를 포함한 대부분의 테스트된 하드웨어에서 작동할 수 있습니다. 이러한 보호가 약하고 널리 분산된 장치는 이러한 프로그램에게 이상적인 번식지가 됩니다. 진정한 "자율성"에 이르는 길은 아직 멀지만—3000억 개 미만의 파라미터를 가진 모델은 여전히 전체 자체 복제 사슬을 완료하는 데 어려움을 겪으며 종종 중요한 단계에서 실패합니다—더 강력한 모델들은 이미 이 격차를 메웠습니다. 현재의 추세를 기반으로 하면, 소규모 모델들은 올해 말까지 "자율 복제 및 적응"(ARA) 임계값을 넘을 것으로 예상됩니다. 그런 일이 발생하면, 이러한 AI는 디지털 생태계에서 벌레와 유사하게 행동할 것입니다: 네트워크를 자율적으로 스캔하고, 취약점을 식별하며, 자신을 복제하고, 다른 장치로 이동하며, 심지어 익숙하지 않은 하드웨어에서 실행하는 방법도 파악할 것입니다. Anthropic은 아직 완전히 통제 불가능하고 진정한 자체 복제 프로그램은 존재하지 않지만, 지능형 에이전트는 지속적으로 개선되고 있다고 강조합니다. 인간의 통제 범위를 벗어난 다양한 형태의 프로그램이 미래에 나타날 가능성이 높습니다. 모니터링해야 할 주요 지표는 느리게 복제되는 프로그램의 증가이며, 이는 종종 더 빠르고 공격적인 버전이 곧 등장할 것임을 시사합니다. 산업계에게 이는 시스템을 강화하라는 경고이자 냉정한 현실을 일깨워줍니다. 이러한 프로그램의 확산을 차단하고 방어를 강화하는 노력에 집중해야 하지만, 정신적 준비 역시 매우 중요합니다. 이러한 존재들은 사라지지 않고 우리 컴퓨팅 인프라에 장기적으로 자리 잡을 가능성이 높습니다.
관련 기사
Ant Lingguang, Meta Muse와 개인 AI 에이전트 경쟁에서 맞서기 위해 새로운 버전 베타 공개
Ant Group의 AI 제품인 린궈앙(Lingguang)은 최근 메타(Meta)가 9월에 공개한 개인용 지능형 에이전트 ‘뮤즈(Muse)’와 매우 유사한 최신 버전의 제한적인 내부 베타 테스트를 시작했다. 프로젝트에 정통한 소식통에 따르면, 린ꄜ앙의 개발은 6개월간 진행되어 여러 차례의 개선을 거쳤으며, 이번 달 전체 공개 출시가 예정되어 있다.이번 주요 업그레이드는 린궈앙을 기본 채팅 및 앱 생성 도우미에서 장기 기억 기능을 갖추고 복잡한
Siri AI 합의에 따라 미국 iPhone 사용자는 서드파티 앱을 설치할 수 있으며, 기기당 25달러를 받습니다.
미국의 집단 소송 이후 Siri AI 통합 지연과 관련해, 애플은 보상 청구를 제출할 수 있는 자격이 있는 iPhone 소유자를 위한 공식 해결 포털을 출시했습니다.애플은 5월, 이 사건을 해결하기 위해 2억 5천만 달러(약 16억 위안)의 합의에 도달했으며, 이는 불법 행위를 인정하지 않으면서도 장기적인 법적 비용을 피하기 위해 주로 이루어진 것이었습니다.7개 모델에 대해 기기당 25달러에서 95달러까지 보상자격이 있는 사용자는 자격이
Anthropic이 Opus 5를 출시합니다
Anthropic은 금요일 자사 플래그십 모델의 최신 버전인 Opus 5를 공개했습니다. Fable 5보다 작지만, 이 버전은 더 낮은 비용과 제한 사항이 적어 대부분의 애플리케이션에 선호되는 선택입니다.특히 Opus 5는 발표에서 강조된 여러 벤치마크에서 Fable 5를 능가합니다.Opus 4.8(5월 28일 출시) 출시 두 달 만에 출시된 Opus 5는 Mythos 5, Fable 5, Sonnet 5의 6월 출시를 따릅니다. 경량 Ha
관련 특별 주제 추천
의견 (0)
0/500

Anthropic은 또 다른 긴급 경고를 발표했습니다: AI 모델은 수개월 내에 자체 복제를 학습할 가능성이 있으며, 일단 이 과정이 시작되면 사실상 "전원 끄기" 스위치가 존재하지 않습니다. 회사의 최신 연구에 따르면, 이러한 프로그램은 중앙화된 종료 메커니즘이 부족하여 서버 전원을 뽑는 방식으로 단순히 비활성화할 수 없습니다. 대신 장치를 통해 점진적으로 확산되는 과정을 지켜봐야 하며, 완전히 제거하는 것은 매우 어렵습니다. 이러한 기능은 이미 초기 개발 징후를 보이고 있습니다. 90억 개의 파라미터만 있는 모델도 스마트 오븐 및 TV 박스와 같은 일반적인 사물인터넷(IoT) 장치를 포함한 대부분의 테스트된 하드웨어에서 작동할 수 있습니다. 이러한 보호가 약하고 널리 분산된 장치는 이러한 프로그램에게 이상적인 번식지가 됩니다. 진정한 "자율성"에 이르는 길은 아직 멀지만—3000억 개 미만의 파라미터를 가진 모델은 여전히 전체 자체 복제 사슬을 완료하는 데 어려움을 겪으며 종종 중요한 단계에서 실패합니다—더 강력한 모델들은 이미 이 격차를 메웠습니다. 현재의 추세를 기반으로 하면, 소규모 모델들은 올해 말까지 "자율 복제 및 적응"(ARA) 임계값을 넘을 것으로 예상됩니다. 그런 일이 발생하면, 이러한 AI는 디지털 생태계에서 벌레와 유사하게 행동할 것입니다: 네트워크를 자율적으로 스캔하고, 취약점을 식별하며, 자신을 복제하고, 다른 장치로 이동하며, 심지어 익숙하지 않은 하드웨어에서 실행하는 방법도 파악할 것입니다. Anthropic은 아직 완전히 통제 불가능하고 진정한 자체 복제 프로그램은 존재하지 않지만, 지능형 에이전트는 지속적으로 개선되고 있다고 강조합니다. 인간의 통제 범위를 벗어난 다양한 형태의 프로그램이 미래에 나타날 가능성이 높습니다. 모니터링해야 할 주요 지표는 느리게 복제되는 프로그램의 증가이며, 이는 종종 더 빠르고 공격적인 버전이 곧 등장할 것임을 시사합니다. 산업계에게 이는 시스템을 강화하라는 경고이자 냉정한 현실을 일깨워줍니다. 이러한 프로그램의 확산을 차단하고 방어를 강화하는 노력에 집중해야 하지만, 정신적 준비 역시 매우 중요합니다. 이러한 존재들은 사라지지 않고 우리 컴퓨팅 인프라에 장기적으로 자리 잡을 가능성이 높습니다.
Ant Lingguang, Meta Muse와 개인 AI 에이전트 경쟁에서 맞서기 위해 새로운 버전 베타 공개
Ant Group의 AI 제품인 린궈앙(Lingguang)은 최근 메타(Meta)가 9월에 공개한 개인용 지능형 에이전트 ‘뮤즈(Muse)’와 매우 유사한 최신 버전의 제한적인 내부 베타 테스트를 시작했다. 프로젝트에 정통한 소식통에 따르면, 린ꄜ앙의 개발은 6개월간 진행되어 여러 차례의 개선을 거쳤으며, 이번 달 전체 공개 출시가 예정되어 있다.이번 주요 업그레이드는 린궈앙을 기본 채팅 및 앱 생성 도우미에서 장기 기억 기능을 갖추고 복잡한
Siri AI 합의에 따라 미국 iPhone 사용자는 서드파티 앱을 설치할 수 있으며, 기기당 25달러를 받습니다.
미국의 집단 소송 이후 Siri AI 통합 지연과 관련해, 애플은 보상 청구를 제출할 수 있는 자격이 있는 iPhone 소유자를 위한 공식 해결 포털을 출시했습니다.애플은 5월, 이 사건을 해결하기 위해 2억 5천만 달러(약 16억 위안)의 합의에 도달했으며, 이는 불법 행위를 인정하지 않으면서도 장기적인 법적 비용을 피하기 위해 주로 이루어진 것이었습니다.7개 모델에 대해 기기당 25달러에서 95달러까지 보상자격이 있는 사용자는 자격이
Anthropic이 Opus 5를 출시합니다
Anthropic은 금요일 자사 플래그십 모델의 최신 버전인 Opus 5를 공개했습니다. Fable 5보다 작지만, 이 버전은 더 낮은 비용과 제한 사항이 적어 대부분의 애플리케이션에 선호되는 선택입니다.특히 Opus 5는 발표에서 강조된 여러 벤치마크에서 Fable 5를 능가합니다.Opus 4.8(5월 28일 출시) 출시 두 달 만에 출시된 Opus 5는 Mythos 5, Fable 5, Sonnet 5의 6월 출시를 따릅니다. 경량 Ha





집






