앤트로픽, 위험 증가에 따른 새로운 AI 안전장치 도입

Anthropic은 증가하는 안전 문제를 해결하기 위해 Claude AI 챗봇의 사용 정책을 업데이트했습니다. 이제 더 엄격한 사이버 보안 규정과 함께 Claude를 사용해 개발해서는 안 되는 위험한 무기의 범주를 명시적으로 설명합니다.
공식 발표 게시물에는 무기 정책의 변경 사항이 명시적으로 강조되어 있지는 않지만, 이전 사용 지침과 새 사용 지침을 비교해보면 중요한 업데이트가 이루어졌음을 알 수 있습니다. 이전에는 "인명 피해 또는 손실을 초래하도록 설계된 무기, 폭발물, 위험 물질 또는 기타 시스템을 생산, 개조, 설계, 판매 또는 배포"하는 데 Claude를 사용하는 것을 광범위하게 금지했습니다. 개정된 정책은 특히 생물학, 핵, 화학, 방사능(CBRN) 무기뿐만 아니라 고수익 폭발물 개발을 금지함으로써 이를 더욱 확대했습니다.
지난 5월, 앤트로픽은 새로운 클로드 오퍼스 4 모델 출시와 동시에 'AI 안전 레벨 3' 보호 기능을 도입했습니다. 이러한 보호 장치는 모델이 탈옥에 대한 저항력을 높이고 CBRN 무기를 만드는 데 도움이 되지 않도록 하기 위한 것입니다.
또한, 앤트로픽은 이번 발표에서 클로드가 사용자의 컴퓨터를 제어할 수 있는 컴퓨터 사용과 클로드를 개발자의 터미널에 직접 통합하는 클로드 코드와 같은 에이전트 AI 도구와 관련된 위험성을 인식하고 있습니다. "이러한 강력한 기능은 대규모 악용, 멀웨어 생성 및 사이버 공격 가능성을 포함한 새로운 위험을 초래할 수 있습니다."라고 회사는 말합니다.
관련 기사
- 앤트로픽, 군사 및 정보 용도의 새로운 클로드 서비스 출시
- 구글은 AI 무기를 개발하지 않겠다는 약속을 스크랩합니다.
이 AI 스타트업은 사용 정책에 "컴퓨터 또는 네트워크 시스템 손상 금지"라는 새로운 섹션을 추가하여 이러한 잠재적 위협을 해결하고 있습니다. 이 섹션에는 취약점 발견 또는 악용, 멀웨어 생성 또는 배포, 서비스 거부 공격용 도구 개발 및 이와 유사한 활동을 위해 Claude를 사용하는 것에 대한 규칙이 포함되어 있습니다.
또한, Anthropic은 정치적 콘텐츠에 관한 정책을 완화하고 있습니다. 정치 캠페인 및 로비와 관련된 모든 콘텐츠 제작을 금지하는 대신, 이제 "민주적 절차를 기만하거나 방해하거나 유권자 및 캠페인 타겟팅과 관련된 사용 사례"에만 클라우드를 사용하는 것을 금지할 것입니다. 또한, 개인 또는 고객에게 추천하는 데 Claude를 사용할 때 적용되는 모든 "고위험" 사용 사례에 대한 요구 사항은 내부 비즈니스 용도가 아닌 소비자 대면 시나리오에만 해당된다는 점을 명확히 했습니다.
관련 기사
올리는 AI 비서 시장 경쟁에서 우위를 점하기 위해 개인정보 보호에 주력하고 있다
진정으로 도움이 되려면 AI 비서는 사용자를 깊이 이해해야 합니다. 일상 생활을 위해 설계된 개인 비서 ‘올리(Ollie)’는 이를 위해 사용자의 데이터를 제공하거나 개인정보를 침해할 필요가 없다는 전제 하에 운영됩니다.일부 기업용 AI 도구가 데이터 개인정보 보호 장치를 제공하기는 하지만, 올리는 SOC 2 인증을 획득한 최초의 대중적 가정용 AI 서비스
‘AI LIVE: London’이 AI와 산업 자동화를 어떻게 조명할 것인가
이번 정상회의에는 전 세계의 최고 경영진들이 한자리에 모여, AI에 의한 산업 혁신부터 경제 변동성에 이르기까지 글로벌 산업이 직면한 시급한 과제들을 논의할 예정입니다.‘AI LIVE: 런던 서밋’은 ‘기술 + 인간의 목적(Technology + Human Purpose)’이라는 주제로 2,000명 이상의 국제적 리더들을 한자리에 모아, 새롭게 도래하는 인
Anthropic, AI 법률 기술 시장에 진출하며 경쟁 심화
Anthropic은 화요일 법률 실무에 자동화된 지원을 제공하기 위해 설계된 일련의 새로운 챗봇 기능을 공개했습니다. 이러한 기능들은 올해 초 도입된 법률 전용 플랫폼인 Claude for Legal을 확장하여, 다양한 법률 분야에 맞춘 전문 법률 플러그인과 MCP 연결자를 추가합니다.이러한 도구들은 법률 AI 분야의 경쟁이 심화되는 시점에 등장했습니다. 3월, 법률 워크플로우를 간소화하기 위해 에이전트 AI를 활용하는 AI 법률 스타트업 하
관련 특별 주제 추천
의견 (1)
0/500
Les mises à jour de politique me rappellent que les IA comme Claude sont des outils qui peuvent avoir des utilisations à double tranchant. 🔧 C'est rassurant de voir les entreprises prendre des initiatives, mais une réglementation internationale ne serait-elle pas plus efficace contre certains dangers ? En tout cas, voilà un pas dans la bonne direction.

Anthropic은 증가하는 안전 문제를 해결하기 위해 Claude AI 챗봇의 사용 정책을 업데이트했습니다. 이제 더 엄격한 사이버 보안 규정과 함께 Claude를 사용해 개발해서는 안 되는 위험한 무기의 범주를 명시적으로 설명합니다.
공식 발표 게시물에는 무기 정책의 변경 사항이 명시적으로 강조되어 있지는 않지만, 이전 사용 지침과 새 사용 지침을 비교해보면 중요한 업데이트가 이루어졌음을 알 수 있습니다. 이전에는 "인명 피해 또는 손실을 초래하도록 설계된 무기, 폭발물, 위험 물질 또는 기타 시스템을 생산, 개조, 설계, 판매 또는 배포"하는 데 Claude를 사용하는 것을 광범위하게 금지했습니다. 개정된 정책은 특히 생물학, 핵, 화학, 방사능(CBRN) 무기뿐만 아니라 고수익 폭발물 개발을 금지함으로써 이를 더욱 확대했습니다.
지난 5월, 앤트로픽은 새로운 클로드 오퍼스 4 모델 출시와 동시에 'AI 안전 레벨 3' 보호 기능을 도입했습니다. 이러한 보호 장치는 모델이 탈옥에 대한 저항력을 높이고 CBRN 무기를 만드는 데 도움이 되지 않도록 하기 위한 것입니다.
또한, 앤트로픽은 이번 발표에서 클로드가 사용자의 컴퓨터를 제어할 수 있는 컴퓨터 사용과 클로드를 개발자의 터미널에 직접 통합하는 클로드 코드와 같은 에이전트 AI 도구와 관련된 위험성을 인식하고 있습니다. "이러한 강력한 기능은 대규모 악용, 멀웨어 생성 및 사이버 공격 가능성을 포함한 새로운 위험을 초래할 수 있습니다."라고 회사는 말합니다.
관련 기사
- 앤트로픽, 군사 및 정보 용도의 새로운 클로드 서비스 출시
- 구글은 AI 무기를 개발하지 않겠다는 약속을 스크랩합니다.
이 AI 스타트업은 사용 정책에 "컴퓨터 또는 네트워크 시스템 손상 금지"라는 새로운 섹션을 추가하여 이러한 잠재적 위협을 해결하고 있습니다. 이 섹션에는 취약점 발견 또는 악용, 멀웨어 생성 또는 배포, 서비스 거부 공격용 도구 개발 및 이와 유사한 활동을 위해 Claude를 사용하는 것에 대한 규칙이 포함되어 있습니다.
또한, Anthropic은 정치적 콘텐츠에 관한 정책을 완화하고 있습니다. 정치 캠페인 및 로비와 관련된 모든 콘텐츠 제작을 금지하는 대신, 이제 "민주적 절차를 기만하거나 방해하거나 유권자 및 캠페인 타겟팅과 관련된 사용 사례"에만 클라우드를 사용하는 것을 금지할 것입니다. 또한, 개인 또는 고객에게 추천하는 데 Claude를 사용할 때 적용되는 모든 "고위험" 사용 사례에 대한 요구 사항은 내부 비즈니스 용도가 아닌 소비자 대면 시나리오에만 해당된다는 점을 명확히 했습니다.
올리는 AI 비서 시장 경쟁에서 우위를 점하기 위해 개인정보 보호에 주력하고 있다
진정으로 도움이 되려면 AI 비서는 사용자를 깊이 이해해야 합니다. 일상 생활을 위해 설계된 개인 비서 ‘올리(Ollie)’는 이를 위해 사용자의 데이터를 제공하거나 개인정보를 침해할 필요가 없다는 전제 하에 운영됩니다.일부 기업용 AI 도구가 데이터 개인정보 보호 장치를 제공하기는 하지만, 올리는 SOC 2 인증을 획득한 최초의 대중적 가정용 AI 서비스
‘AI LIVE: London’이 AI와 산업 자동화를 어떻게 조명할 것인가
이번 정상회의에는 전 세계의 최고 경영진들이 한자리에 모여, AI에 의한 산업 혁신부터 경제 변동성에 이르기까지 글로벌 산업이 직면한 시급한 과제들을 논의할 예정입니다.‘AI LIVE: 런던 서밋’은 ‘기술 + 인간의 목적(Technology + Human Purpose)’이라는 주제로 2,000명 이상의 국제적 리더들을 한자리에 모아, 새롭게 도래하는 인
Anthropic, AI 법률 기술 시장에 진출하며 경쟁 심화
Anthropic은 화요일 법률 실무에 자동화된 지원을 제공하기 위해 설계된 일련의 새로운 챗봇 기능을 공개했습니다. 이러한 기능들은 올해 초 도입된 법률 전용 플랫폼인 Claude for Legal을 확장하여, 다양한 법률 분야에 맞춘 전문 법률 플러그인과 MCP 연결자를 추가합니다.이러한 도구들은 법률 AI 분야의 경쟁이 심화되는 시점에 등장했습니다. 3월, 법률 워크플로우를 간소화하기 위해 에이전트 AI를 활용하는 AI 법률 스타트업 하
Les mises à jour de politique me rappellent que les IA comme Claude sont des outils qui peuvent avoir des utilisations à double tranchant. 🔧 C'est rassurant de voir les entreprises prendre des initiatives, mais une réglementation internationale ne serait-elle pas plus efficace contre certains dangers ? En tout cas, voilà un pas dans la bonne direction.





집






