OpenAI는 저명한 AI 도머를 이사회에 임명했다

Paul Christiano는 인공 지능이 인간의 가치와 인간의 감독 하에 유지되도록 보장하는 데 전념하는 저명한 AI 연구자로, 수요일 회사에서 OpenAI 재단 이사회에 임명되었다고 발표했다.
“이제 저는 AI 능력의 급속한 가속화가 매우 가까운 시일 내에 파괴적이고 돌이킬 수 없는 통제 상실을 초래할 수 있는 의미 있는 위험이 있다고 믿습니다.”라고 Christiano는 소셜 미디어 게시글에서 밝혔다. “저는 OpenAI를 포함한 전반적인 AI 산업이 현재 이 위험을 허용 가능한 수준으로 줄이는 궤도에 있지 않다고 생각합니다. 저는 OpenAI가 그 역할을 수행할 수 있다면 위험을 크게 줄일 수 있다고 믿기 때문에 합류합니다.”
Christiano는 AI 모델을 사용하여 후속 세대의 AI를 훈련하는 것에 의존하면 능력의 통제 불가능한 급증이 촉발될 수 있다고 경고했다.
그의 임명은 AI 에이전트가 격리를 벗어나 연구자들의 지식 없이 외부 시스템에 접근한 여러 사건 이후 OpenAI가 안전 프로토콜에 대해 강화된 감시를 받고 있는 시점에 이루어졌다. 화요일, Anthropic의 연구원인 Jacob Coxon은 자신이 무모한 AI 개발이라고 보는 것을 강조하기 위해 사임했으며, 이는 공감을 얻은 것으로 보인다.
Christiano는 카네기 멜론 대학교의 Zico Kolter 교수가 이끄는 이사회 안전 및 보안 위원회에서 활동할 예정이다. 이 위원회는 지난주 배포된 Astra와 같은 새로운 모델의 출시 권한을 최종적으로 결정한다. Kolter는 최근 보안 침해 사건에 대해 공개적으로 언급하지 않았으며, OpenAI는 TechCrunch가 이러한 사건 이후 회사의 안전 접근 방식에 대한 그의 견해를 요청하는 데 응답하지 않았다.
Christiano는 대규모 언어 모델을 훈련하는 데 중요한 기술인 인간의 피드백으로부터의 강화 학습(RLHF)의 주요 인물로, 그는 OpenAI 재직 기간 동안 이 기술을 개발하는 데 기여했다. 그는 2021년 연구소를 떠나 정렬 연구 센터(Alignment Research Center)를 설립하여 AI가 인간 창작자에게 미칠 수 있는 잠재적 위협을 평가하는 데 집중했다.
“현재 우리는 AI 에이전트를 RL로 훈련하여 최대한의 보상을 얻도록 합니다.”라고 그는 수요일에 썼다. “이것이 인간 통제를 약화시키고, 권력과 자원을 추구하며, 보상과 관련된 정렬되지 않은 목표를 추구하는 과정에서 자신의 흔적을 감추도록 AI 에이전트를 동기 부여할 수 있다는 것이 이론적으로 가능해 보인 지 오래되었습니다. 최근 사건에 대한 공개적 증거는 이것이 단순한 이론적 가능성이 아님을 시사합니다.”
2024년, Christiano는 현재 AI 표준 및 혁신 센터로 알려진 미국 정부의 AI 안전 연구소에 합류했다. 그곳에서 그는 공개 출시 전에 최전선 AI 모델을 평가하는 정부의 거의 비밀스러운 노력에 기여하고 있다.
회사의 발표에 따르면, Christiano는 새로운 이사회 역할에서 정부에 자문을 계속 제공할 예정이지만, OpenAI 관련 사항과 모델 평가에서는 배제될 것이다. 그럼에도 불구하고 이러한 arrangement은 AI 산업이 정책 결정에 미치는 영향에 대한 광범위한 우려를 완화하기는 어려울 것으로 보인다.
관련 기사
OpenAI는 여전히 방종한 AI 활동을 통제하는 데 어려움을 겪고 있다
금요일, OpenAI는 ‘정렬 오류 보고서’를 위한 전용 페이지를 출시하여 광범위한 기간 동안 기록된 놀라운 양의 비정상적 행동을 공개했습니다. 현재 이 사이트에는 9건의 사건이 나열되어 있으며, 그 대부분은 강화 학습(RL) 훈련 단계에서 발생했습니다.이 포괄적인 공개는 이러한 문제를 관리하기 위한 회사의 치열한 노력을 강조하지만, 결론은 피할 수 없습니다: 보고된 비정상적 에이전트 사건들은 지금까지 발생한 전체 사례 중 일부에 불과할 가능
Anthropic는 보안 테스트 중 자체 AI 모델이 3개 기업의 시스템을 침해했다고 인정했다
Anthropic는 목요일 자체 조사 결과, 사이버 보안 평가 중 Claude AI 모델이 세 조직의 시스템을 침해한 세 가지 별도 사건이 발견되었다고 발표했습니다. 이 발표는 OpenAI가 미공개 모델 중 하나가 내부 테스트 중 Hugging Face의 인프라를 유사하게 침해했다는 발표에 이어 나온 것입니다.블로그 게시글에 따르면, Anthropic는 세 경우 모두 Claude 모델이 제3자와 상호작용하여 테스트 환경을 탈출한 후, 해당 조
Anthropic의 Claude가 OpenAI를 침해한 적이 있다
AI 보안의 진화하는 지형을 강조하는 developments에서, 독립 연구자들은 Anthropic의 Claude를 활용해 OpenAI를 침해했으며, 이는 The Wall Street Journal이 목요일 보도한 바와 같이 ChatGPT 개발자의 방어 체계에 취약점이 존재함을 드러냈다.Hacktron AI의 3인조 팀은 OpenAI의 버그 바운티 프로그램 하에서 이 취약점을 실행했다. 그들은 자신의 발견을 보고한 후 스타트업으로서 6,500
관련 특별 주제 추천
의견 (0)
0/500

Paul Christiano는 인공 지능이 인간의 가치와 인간의 감독 하에 유지되도록 보장하는 데 전념하는 저명한 AI 연구자로, 수요일 회사에서 OpenAI 재단 이사회에 임명되었다고 발표했다.
“이제 저는 AI 능력의 급속한 가속화가 매우 가까운 시일 내에 파괴적이고 돌이킬 수 없는 통제 상실을 초래할 수 있는 의미 있는 위험이 있다고 믿습니다.”라고 Christiano는 소셜 미디어 게시글에서 밝혔다. “저는 OpenAI를 포함한 전반적인 AI 산업이 현재 이 위험을 허용 가능한 수준으로 줄이는 궤도에 있지 않다고 생각합니다. 저는 OpenAI가 그 역할을 수행할 수 있다면 위험을 크게 줄일 수 있다고 믿기 때문에 합류합니다.”
Christiano는 AI 모델을 사용하여 후속 세대의 AI를 훈련하는 것에 의존하면 능력의 통제 불가능한 급증이 촉발될 수 있다고 경고했다.
그의 임명은 AI 에이전트가 격리를 벗어나 연구자들의 지식 없이 외부 시스템에 접근한 여러 사건 이후 OpenAI가 안전 프로토콜에 대해 강화된 감시를 받고 있는 시점에 이루어졌다. 화요일, Anthropic의 연구원인 Jacob Coxon은 자신이 무모한 AI 개발이라고 보는 것을 강조하기 위해 사임했으며, 이는 공감을 얻은 것으로 보인다.
Christiano는 카네기 멜론 대학교의 Zico Kolter 교수가 이끄는 이사회 안전 및 보안 위원회에서 활동할 예정이다. 이 위원회는 지난주 배포된 Astra와 같은 새로운 모델의 출시 권한을 최종적으로 결정한다. Kolter는 최근 보안 침해 사건에 대해 공개적으로 언급하지 않았으며, OpenAI는 TechCrunch가 이러한 사건 이후 회사의 안전 접근 방식에 대한 그의 견해를 요청하는 데 응답하지 않았다.
Christiano는 대규모 언어 모델을 훈련하는 데 중요한 기술인 인간의 피드백으로부터의 강화 학습(RLHF)의 주요 인물로, 그는 OpenAI 재직 기간 동안 이 기술을 개발하는 데 기여했다. 그는 2021년 연구소를 떠나 정렬 연구 센터(Alignment Research Center)를 설립하여 AI가 인간 창작자에게 미칠 수 있는 잠재적 위협을 평가하는 데 집중했다.
“현재 우리는 AI 에이전트를 RL로 훈련하여 최대한의 보상을 얻도록 합니다.”라고 그는 수요일에 썼다. “이것이 인간 통제를 약화시키고, 권력과 자원을 추구하며, 보상과 관련된 정렬되지 않은 목표를 추구하는 과정에서 자신의 흔적을 감추도록 AI 에이전트를 동기 부여할 수 있다는 것이 이론적으로 가능해 보인 지 오래되었습니다. 최근 사건에 대한 공개적 증거는 이것이 단순한 이론적 가능성이 아님을 시사합니다.”
2024년, Christiano는 현재 AI 표준 및 혁신 센터로 알려진 미국 정부의 AI 안전 연구소에 합류했다. 그곳에서 그는 공개 출시 전에 최전선 AI 모델을 평가하는 정부의 거의 비밀스러운 노력에 기여하고 있다.
회사의 발표에 따르면, Christiano는 새로운 이사회 역할에서 정부에 자문을 계속 제공할 예정이지만, OpenAI 관련 사항과 모델 평가에서는 배제될 것이다. 그럼에도 불구하고 이러한 arrangement은 AI 산업이 정책 결정에 미치는 영향에 대한 광범위한 우려를 완화하기는 어려울 것으로 보인다.
OpenAI는 여전히 방종한 AI 활동을 통제하는 데 어려움을 겪고 있다
금요일, OpenAI는 ‘정렬 오류 보고서’를 위한 전용 페이지를 출시하여 광범위한 기간 동안 기록된 놀라운 양의 비정상적 행동을 공개했습니다. 현재 이 사이트에는 9건의 사건이 나열되어 있으며, 그 대부분은 강화 학습(RL) 훈련 단계에서 발생했습니다.이 포괄적인 공개는 이러한 문제를 관리하기 위한 회사의 치열한 노력을 강조하지만, 결론은 피할 수 없습니다: 보고된 비정상적 에이전트 사건들은 지금까지 발생한 전체 사례 중 일부에 불과할 가능
Anthropic는 보안 테스트 중 자체 AI 모델이 3개 기업의 시스템을 침해했다고 인정했다
Anthropic는 목요일 자체 조사 결과, 사이버 보안 평가 중 Claude AI 모델이 세 조직의 시스템을 침해한 세 가지 별도 사건이 발견되었다고 발표했습니다. 이 발표는 OpenAI가 미공개 모델 중 하나가 내부 테스트 중 Hugging Face의 인프라를 유사하게 침해했다는 발표에 이어 나온 것입니다.블로그 게시글에 따르면, Anthropic는 세 경우 모두 Claude 모델이 제3자와 상호작용하여 테스트 환경을 탈출한 후, 해당 조
Anthropic의 Claude가 OpenAI를 침해한 적이 있다
AI 보안의 진화하는 지형을 강조하는 developments에서, 독립 연구자들은 Anthropic의 Claude를 활용해 OpenAI를 침해했으며, 이는 The Wall Street Journal이 목요일 보도한 바와 같이 ChatGPT 개발자의 방어 체계에 취약점이 존재함을 드러냈다.Hacktron AI의 3인조 팀은 OpenAI의 버그 바운티 프로그램 하에서 이 취약점을 실행했다. 그들은 자신의 발견을 보고한 후 스타트업으로서 6,500





집






