정부가 OpenAI의 ‘프론티어’ 모델이 출시해도 안전하다고 판단한 경위

OpenAI는 최신 고급 언어 모델인 ‘Sol’을 출시하여 일반 대중이 이용할 수 있도록 했습니다. Sol은 Anthropic의 ‘Fable’과 동등한 성능을 지닌 것으로 널리 평가받고 있는데, Fable은 논란을 일으켜 한때 백악관의 우려를 불러일으켜 일반인의 접근이 일시적으로 제한되기도 했던 모델입니다.
그렇다면 이 모델들은 결국 어떻게 출시 승인을 받게 된 것일까? 그 답은 여전히 불분명하다.
조지타운 대학교 보안 및 신흥 기술 센터(Center for Security and Emerging Technology)의 수석 연구 분석가 미나 나라야난(Mina Narayanan)은 테크크런치(TechCrunch)와의 인터뷰에서 “솔직히 말해, 저는 그 구체적인 절차에 대해 알지 못합니다. 따라서 그 절차가 적절한지 아닌지 판단할 만한 충분한 정보를 가지고 있다고 생각하지 않습니다”라고 말했다. “앤트로픽(Anthropic) 측은 정부와 협의 중이라고 밝혔으며, 탈옥 시도를 탐지하기 위한 분류기를 개발했고, 향후 탈옥을 방지하기 위한 방어적 갭 전략을 구현했다고 했지만, 정부와 앤트로픽, 오픈AI(OpenAI) 간의 대화가 정확히 어떻게 진행되었는지는 불분명합니다.”
트럼프 전 대통령의 정책 고문을 지냈으며 현재 오픈AI에서 근무 중인 딘 W. 볼은 지난달 자신의 뉴스레터에서 “면허를 취득하기 위한 요건이 무엇인지 아무도 모른다”고 지적했다.
데이터브릭스(Databricks), 퍼플렉시티(Perplexity), 라우드 연구소(Laude Institute)를 공동 설립한 컴퓨터 과학자 앤디 콘윈스키(Andy Konwinski)는 선도적인 AI 연구소 직원들 사이에서도 그 절차를 완전히 이해하는 사람을 만난 적이 없다고 밝혔다. 그는 테크크런치와의 인터뷰에서 “이는 본질적인 문제”라고 말했다. “안전 여부와는 별개로, 핵심은 누가 결정권을 가지고 있는지, 즉 누가 관문을 지키며 권한을 부여할지 결정하는가 하는 문제입니다.”
트럼프 행정부 출범 18개월이 지났지만, 업계 인사들이 정책 수립에 관여하고 있음에도 불구하고—혹은 일부 비평가들이 주장하듯, 바로 그 때문에—앞으로 어떻게 나아갈지에 대해서는 여전히 명확한 방향성이 보이지 않는다. 지난달, 수주간의 내부 논쟁 끝에 최첨단 모델을 평가하기 위한 로드맵을 제시하는 행정 명령이 발표되었으나, 존재하지 않을 것들 외에는 구체적인 세부 사항이 여전히 채워지지 않은 상태다. 지난달까지 백악관에서 AI 수석 고문을 역임한 전 안드레센 호로위츠(Andreessen Horowitz) 파트너 스리람 크리슈난(Sriram Krishnan)은 파이낸셜 타임스(Financial Times)와의 인터뷰에서 “AI를 위한 FDA(식품의약국)는 없을 것”이라고 말했다.
특히, 어떤 유형의 모델이 정부의 심사를 받아야 하는지, 또는 어느 기관이나 기관들이 이러한 평가를 수행해야 하는지에 대해서는 여전히 합의가 이루어지지 않고 있다. 현재로서는 상무부 산하 ‘AI 표준 및 혁신 센터(Center for AI Standards and Innovation)’가 이 작업을 주도하는 것으로 보이지만, 행정 명령은 6개 내각 부처에 8월 초까지 최종 절차를 확정하도록 지시하고 있다. 그동안 드러난 내용은 기껏해야 임시방편 수준에 그치고 있다.
오픈AI(OpenAI)의 샘 알트만 CEO는 CNBC와의 인터뷰에서 이 과정에 하워드 루트닉 상무장관, 스콧 베센트 재무장관, 숀 케언크로스 미국 국가사이버국장 등 고위 관리들과의 논의가 포함되었다고 밝혔으나, 모델을 테스트한 전문가들이 누구였는지, 또는 그들이 테스트를 어떻게 수행했는지는 여전히 불분명하다. 오픈AI는 테크크런치(TechCrunch)에 정부의 검토 절차에 대한 세부 사항을 공개하는 것을 거부하고, 대신 최신 모델의 안전성 보고서에 포함된 영국 AISI, SecureBio, Irregular와 같은 기관들의 여러 외부 평가 결과를 언급했다.
앤트로픽(Anthropic)의 ‘Fable’ 출시와 마찬가지로, 오픈AI도 모델을 광범위하게 공개하기 전에 정부와 선별된 사용자에게 미리 공개했으나, 해당 사용자들이 정확히 누구였는지, 또 어떻게 선정되었는지는 알려지지 않았다. 6월 말 블로그 게시물에서 이 회사는 “이러한 형태의 정부 접근 절차가 장기적인 표준이 되어서는 안 된다고 생각한다”고 밝히며, 정부와 협력해 다른 해결 방안을 모색하겠다고 덧붙였다.
이러한 논의의 배경에는 알트먼이 행정부의 이른바 ‘트럼프 계정’을 위해 OpenAI 지분의 최대 5%를 제안했다는 보도와, OpenAI 사장 그렉 브록맨이 트럼프의 중간선거 정치 활동에 대해 공개적으로 알려진 최대 기부자 역할을 했다는 사실이 포함된다. 외부 관찰자들이 이러한 활동들을 정부가 솔(Sol)에 대해 보인 상대적으로 유연한 규제 접근 방식과 분리하여 바라보기는 어렵다.
반면, 앤트로픽(Anthropic)의 ‘Fable’은 미국 정부가 외국인의 사용을 금지했을 때 잠시 대중의 접근에서 제외된 바 있다. 이는 부분적으로는 사용자가 해킹 기능을 얻기 위해 모델의 제한을 우회할 수 있다는 진정한 우려 때문이었고, 부분적으로는 앤트로픽과 트럼프 행정부 간의 성격 차이로 인한 것이었다. 수출 금지 조치의 위협 역시 오픈AI가 정부의 (알려지지 않은) 요청에 더 협조적으로 나서는 계기가 되었을 수 있다.
업계의 관점에서 볼 때, 규제에 대한 비개입적 접근 방식은 매력적으로 보일 수 있지만, 행정부 관리들과의 개인적 인맥에 의존하는 방식은 불확실성과 부정적인 인센티브를 야기한다.
콘윈스키는 테크크런치와의 인터뷰에서 이 기술의 진정한 전문가들—“안전 연구자, 정렬 연구자, 해석 가능성 연구자뿐만 아니라 데이터 전문가 및 스택 전반에 걸친 전문가들”—이 모델 출시 과정에서 충분한 역할을 수행하지 못하고 있는 점을 우려한다고 밝혔다.
콘윈스키는 “개방형 공유지(open commons)”가 안전과 혁신의 균형을 맞추는 최선의 방법이라고 주장한다. 그는 연구자, 정부 관계자, 민간 기업을 한데 모아 안전 문제에 대한 합의를 도출하는 FDA, NIH, 또는 국립 연구소와 같은 모델을 예로 든다.
이러한 현상의 일부는 지난 10년 넘게 AI 연구자들을 움직여 온 자본주의적 인센티브에서 비롯된 것이며, 이는 엘론 머스크가 오픈AI의 기업 구조를 문제 삼아 제기한 소송 과정에서 법정에서 드러나기도 했다. 볼은 AI 사업의 특성상 기업들이 모델을 출시한 직후 훈련 비용의 상당 부분을 회수해야 하며, 경쟁사보다 한 발 앞서 나가야 한다고 지적한다.
“의도가 선하다 하더라도, 운영 절차에 명확하게 내재된 법적 의무와 수탁자 책임이 존재한다”고 콘윈스키는 지적한다.
볼은 자신의 게시물에서, 앞으로의 방향은 정부가 인가한 제3자 감사 기관들이 최첨단 연구소의 안전성 접근 방식을 평가하는 데 달려 있을 것이라고 주장했다. 콘윈스키 역시 학계와 비영리 분야의 이해관계가 없는 전문가들이 더 많이 최첨단 모델에 접근하고 평가할 수 있도록 도울 수 있는, 특정 분야에 집중하는 연구 기관과 같은 새로운 제도적 형태에 대해 낙관적인 입장을 보였다.
당분간 AI 개발을 둘러싼 비밀주의는 사라지지 않겠지만, 이는 미국인들이 점점 더 회의적인 시선으로 바라보는 이 산업에 정치적 난제를 야기할 것이다. 위스콘신-매디슨 대학교 컴퓨터공학과 렘지 아르파치-두소(Remzi Arpaci-Dusseau) 교수는 지난주 ‘오픈 프론티어(Open Frontier)’ 컨퍼런스에서 “책임감 있는 사람들이 이러한 변화를 주도하고 있다는 느낌은 들지 않는다”고 말했다.
같은 행사에서, 가장 성공적인 정량적 헤지펀드 중 하나인 투 시그마(Two Sigma)를 설립한 컴퓨터 과학자 데이비드 시겔은 참석자들에게 “소수의 기업이 기술을 장악하고, 정부가 비밀 연구소에서 그 기술이 사용에 적합한지 여부를 평가하고 있으며, 일반 대중과 과학계는 그 어떤 정보에도 사실상 접근할 수 없는 상황”을 상상해 보라고 요청했다.
우리는 그런 상황을 상상할 필요조차 없는 것 같다.
관련 기사
[[IMG_BASE64_PLACEHOLDER]] Sam Altman, AI의 감속 논란에 불을 붙이다
Apple Podcasts에서 듣기Spotify에서 듣기OpenAI의 CEO 샘 알트만은 최근 사회가 “일부 새로운 능력 수준 주변에서 단단히 경화될” 시간을 주기 위해 “AI 개발 속도를 조절할 때”가 되었을 수 있다고 제안했습니다.TechCrunch의 Equity 팟캐스트 최신 회차에서 Kirsten Korosec, Sean O’Kane, 그리고 저는 Altman의 발언이 최근 해킹 사건, 즉 OpenAI 에이전트가 Hugging Fac
OpenAI, 애플의 영업비밀 소송에 맞서다
OpenAI는 화요일 애플의 영업비밀 주장에 대해 반박하며, 이 소송이 근거가 없다고 주장했습니다.“우리는 이러한 주장을 심각하게 받아들이지만 이를 뒷받침하는 증거는 발견하지 못했습니다.”라고 OpenAI는 X에서 블룸버그의 에드 루드로우가 보도한 바와 같이 언급했습니다. “우리는 공정한 경쟁과 어디서나 일할 수 있는 자유를 지지하며, 전 세계 사용자에게 힘을 실어주는 기술을 만드는 데 집중하고 있습니다.”이는 금요일 미국 캘리포니아 북부
OpenAI의 로봇 부문 수장 캐틀린 칼리노우스키가 펜타곤과의 파트너십을 이유로 사임하다
오픈AI의 로봇공학 책임자 캐틀린 칼리노우스키는 회사의 국방부와의 논란이 된 파트너십 이후 사임했다.“이것은 쉬운 결정이 아니었다,” 칼리노우스스는 소셜 미디어 성명에서 설명했다. “AI가 국가 안보에서 중요한 역할을 하지만, 사법 감독 없이 미국인을 감시하고 인간 승인 없이 치명적 자율성을_deploy_하는 것은 훨씬 신중한 고려가 필요한 경계선이다.”메타의 증강현실 안경 부문을 이끌었던 것으로 알려진 칼리노우스스는 2024년 11월 오픈
관련 특별 주제 추천
의견 (0)
0/500

OpenAI는 최신 고급 언어 모델인 ‘Sol’을 출시하여 일반 대중이 이용할 수 있도록 했습니다. Sol은 Anthropic의 ‘Fable’과 동등한 성능을 지닌 것으로 널리 평가받고 있는데, Fable은 논란을 일으켜 한때 백악관의 우려를 불러일으켜 일반인의 접근이 일시적으로 제한되기도 했던 모델입니다.
그렇다면 이 모델들은 결국 어떻게 출시 승인을 받게 된 것일까? 그 답은 여전히 불분명하다.
조지타운 대학교 보안 및 신흥 기술 센터(Center for Security and Emerging Technology)의 수석 연구 분석가 미나 나라야난(Mina Narayanan)은 테크크런치(TechCrunch)와의 인터뷰에서 “솔직히 말해, 저는 그 구체적인 절차에 대해 알지 못합니다. 따라서 그 절차가 적절한지 아닌지 판단할 만한 충분한 정보를 가지고 있다고 생각하지 않습니다”라고 말했다. “앤트로픽(Anthropic) 측은 정부와 협의 중이라고 밝혔으며, 탈옥 시도를 탐지하기 위한 분류기를 개발했고, 향후 탈옥을 방지하기 위한 방어적 갭 전략을 구현했다고 했지만, 정부와 앤트로픽, 오픈AI(OpenAI) 간의 대화가 정확히 어떻게 진행되었는지는 불분명합니다.”
트럼프 전 대통령의 정책 고문을 지냈으며 현재 오픈AI에서 근무 중인 딘 W. 볼은 지난달 자신의 뉴스레터에서 “면허를 취득하기 위한 요건이 무엇인지 아무도 모른다”고 지적했다.
데이터브릭스(Databricks), 퍼플렉시티(Perplexity), 라우드 연구소(Laude Institute)를 공동 설립한 컴퓨터 과학자 앤디 콘윈스키(Andy Konwinski)는 선도적인 AI 연구소 직원들 사이에서도 그 절차를 완전히 이해하는 사람을 만난 적이 없다고 밝혔다. 그는 테크크런치와의 인터뷰에서 “이는 본질적인 문제”라고 말했다. “안전 여부와는 별개로, 핵심은 누가 결정권을 가지고 있는지, 즉 누가 관문을 지키며 권한을 부여할지 결정하는가 하는 문제입니다.”
트럼프 행정부 출범 18개월이 지났지만, 업계 인사들이 정책 수립에 관여하고 있음에도 불구하고—혹은 일부 비평가들이 주장하듯, 바로 그 때문에—앞으로 어떻게 나아갈지에 대해서는 여전히 명확한 방향성이 보이지 않는다. 지난달, 수주간의 내부 논쟁 끝에 최첨단 모델을 평가하기 위한 로드맵을 제시하는 행정 명령이 발표되었으나, 존재하지 않을 것들 외에는 구체적인 세부 사항이 여전히 채워지지 않은 상태다. 지난달까지 백악관에서 AI 수석 고문을 역임한 전 안드레센 호로위츠(Andreessen Horowitz) 파트너 스리람 크리슈난(Sriram Krishnan)은 파이낸셜 타임스(Financial Times)와의 인터뷰에서 “AI를 위한 FDA(식품의약국)는 없을 것”이라고 말했다.
특히, 어떤 유형의 모델이 정부의 심사를 받아야 하는지, 또는 어느 기관이나 기관들이 이러한 평가를 수행해야 하는지에 대해서는 여전히 합의가 이루어지지 않고 있다. 현재로서는 상무부 산하 ‘AI 표준 및 혁신 센터(Center for AI Standards and Innovation)’가 이 작업을 주도하는 것으로 보이지만, 행정 명령은 6개 내각 부처에 8월 초까지 최종 절차를 확정하도록 지시하고 있다. 그동안 드러난 내용은 기껏해야 임시방편 수준에 그치고 있다.
오픈AI(OpenAI)의 샘 알트만 CEO는 CNBC와의 인터뷰에서 이 과정에 하워드 루트닉 상무장관, 스콧 베센트 재무장관, 숀 케언크로스 미국 국가사이버국장 등 고위 관리들과의 논의가 포함되었다고 밝혔으나, 모델을 테스트한 전문가들이 누구였는지, 또는 그들이 테스트를 어떻게 수행했는지는 여전히 불분명하다. 오픈AI는 테크크런치(TechCrunch)에 정부의 검토 절차에 대한 세부 사항을 공개하는 것을 거부하고, 대신 최신 모델의 안전성 보고서에 포함된 영국 AISI, SecureBio, Irregular와 같은 기관들의 여러 외부 평가 결과를 언급했다.
앤트로픽(Anthropic)의 ‘Fable’ 출시와 마찬가지로, 오픈AI도 모델을 광범위하게 공개하기 전에 정부와 선별된 사용자에게 미리 공개했으나, 해당 사용자들이 정확히 누구였는지, 또 어떻게 선정되었는지는 알려지지 않았다. 6월 말 블로그 게시물에서 이 회사는 “이러한 형태의 정부 접근 절차가 장기적인 표준이 되어서는 안 된다고 생각한다”고 밝히며, 정부와 협력해 다른 해결 방안을 모색하겠다고 덧붙였다.
이러한 논의의 배경에는 알트먼이 행정부의 이른바 ‘트럼프 계정’을 위해 OpenAI 지분의 최대 5%를 제안했다는 보도와, OpenAI 사장 그렉 브록맨이 트럼프의 중간선거 정치 활동에 대해 공개적으로 알려진 최대 기부자 역할을 했다는 사실이 포함된다. 외부 관찰자들이 이러한 활동들을 정부가 솔(Sol)에 대해 보인 상대적으로 유연한 규제 접근 방식과 분리하여 바라보기는 어렵다.
반면, 앤트로픽(Anthropic)의 ‘Fable’은 미국 정부가 외국인의 사용을 금지했을 때 잠시 대중의 접근에서 제외된 바 있다. 이는 부분적으로는 사용자가 해킹 기능을 얻기 위해 모델의 제한을 우회할 수 있다는 진정한 우려 때문이었고, 부분적으로는 앤트로픽과 트럼프 행정부 간의 성격 차이로 인한 것이었다. 수출 금지 조치의 위협 역시 오픈AI가 정부의 (알려지지 않은) 요청에 더 협조적으로 나서는 계기가 되었을 수 있다.
업계의 관점에서 볼 때, 규제에 대한 비개입적 접근 방식은 매력적으로 보일 수 있지만, 행정부 관리들과의 개인적 인맥에 의존하는 방식은 불확실성과 부정적인 인센티브를 야기한다.
콘윈스키는 테크크런치와의 인터뷰에서 이 기술의 진정한 전문가들—“안전 연구자, 정렬 연구자, 해석 가능성 연구자뿐만 아니라 데이터 전문가 및 스택 전반에 걸친 전문가들”—이 모델 출시 과정에서 충분한 역할을 수행하지 못하고 있는 점을 우려한다고 밝혔다.
콘윈스키는 “개방형 공유지(open commons)”가 안전과 혁신의 균형을 맞추는 최선의 방법이라고 주장한다. 그는 연구자, 정부 관계자, 민간 기업을 한데 모아 안전 문제에 대한 합의를 도출하는 FDA, NIH, 또는 국립 연구소와 같은 모델을 예로 든다.
이러한 현상의 일부는 지난 10년 넘게 AI 연구자들을 움직여 온 자본주의적 인센티브에서 비롯된 것이며, 이는 엘론 머스크가 오픈AI의 기업 구조를 문제 삼아 제기한 소송 과정에서 법정에서 드러나기도 했다. 볼은 AI 사업의 특성상 기업들이 모델을 출시한 직후 훈련 비용의 상당 부분을 회수해야 하며, 경쟁사보다 한 발 앞서 나가야 한다고 지적한다.
“의도가 선하다 하더라도, 운영 절차에 명확하게 내재된 법적 의무와 수탁자 책임이 존재한다”고 콘윈스키는 지적한다.
볼은 자신의 게시물에서, 앞으로의 방향은 정부가 인가한 제3자 감사 기관들이 최첨단 연구소의 안전성 접근 방식을 평가하는 데 달려 있을 것이라고 주장했다. 콘윈스키 역시 학계와 비영리 분야의 이해관계가 없는 전문가들이 더 많이 최첨단 모델에 접근하고 평가할 수 있도록 도울 수 있는, 특정 분야에 집중하는 연구 기관과 같은 새로운 제도적 형태에 대해 낙관적인 입장을 보였다.
당분간 AI 개발을 둘러싼 비밀주의는 사라지지 않겠지만, 이는 미국인들이 점점 더 회의적인 시선으로 바라보는 이 산업에 정치적 난제를 야기할 것이다. 위스콘신-매디슨 대학교 컴퓨터공학과 렘지 아르파치-두소(Remzi Arpaci-Dusseau) 교수는 지난주 ‘오픈 프론티어(Open Frontier)’ 컨퍼런스에서 “책임감 있는 사람들이 이러한 변화를 주도하고 있다는 느낌은 들지 않는다”고 말했다.
같은 행사에서, 가장 성공적인 정량적 헤지펀드 중 하나인 투 시그마(Two Sigma)를 설립한 컴퓨터 과학자 데이비드 시겔은 참석자들에게 “소수의 기업이 기술을 장악하고, 정부가 비밀 연구소에서 그 기술이 사용에 적합한지 여부를 평가하고 있으며, 일반 대중과 과학계는 그 어떤 정보에도 사실상 접근할 수 없는 상황”을 상상해 보라고 요청했다.
우리는 그런 상황을 상상할 필요조차 없는 것 같다.
[[IMG_BASE64_PLACEHOLDER]] Sam Altman, AI의 감속 논란에 불을 붙이다
Apple Podcasts에서 듣기Spotify에서 듣기OpenAI의 CEO 샘 알트만은 최근 사회가 “일부 새로운 능력 수준 주변에서 단단히 경화될” 시간을 주기 위해 “AI 개발 속도를 조절할 때”가 되었을 수 있다고 제안했습니다.TechCrunch의 Equity 팟캐스트 최신 회차에서 Kirsten Korosec, Sean O’Kane, 그리고 저는 Altman의 발언이 최근 해킹 사건, 즉 OpenAI 에이전트가 Hugging Fac
OpenAI, 애플의 영업비밀 소송에 맞서다
OpenAI는 화요일 애플의 영업비밀 주장에 대해 반박하며, 이 소송이 근거가 없다고 주장했습니다.“우리는 이러한 주장을 심각하게 받아들이지만 이를 뒷받침하는 증거는 발견하지 못했습니다.”라고 OpenAI는 X에서 블룸버그의 에드 루드로우가 보도한 바와 같이 언급했습니다. “우리는 공정한 경쟁과 어디서나 일할 수 있는 자유를 지지하며, 전 세계 사용자에게 힘을 실어주는 기술을 만드는 데 집중하고 있습니다.”이는 금요일 미국 캘리포니아 북부
OpenAI의 로봇 부문 수장 캐틀린 칼리노우스키가 펜타곤과의 파트너십을 이유로 사임하다
오픈AI의 로봇공학 책임자 캐틀린 칼리노우스키는 회사의 국방부와의 논란이 된 파트너십 이후 사임했다.“이것은 쉬운 결정이 아니었다,” 칼리노우스스는 소셜 미디어 성명에서 설명했다. “AI가 국가 안보에서 중요한 역할을 하지만, 사법 감독 없이 미국인을 감시하고 인간 승인 없이 치명적 자율성을_deploy_하는 것은 훨씬 신중한 고려가 필요한 경계선이다.”메타의 증강현실 안경 부문을 이끌었던 것으로 알려진 칼리노우스스는 2024년 11월 오픈





집






