세 명의 AI 개척자들이 안전에 대한 우려가 커지는 가운데 대규모 모델을 오픈으로 유지해야 한다고 주장한다

Initiatives like Pacing the Frontier aim to ensure AI safety by partnering with major labs, yet open-source models remain a contentious issue within the industry. Due to their free distribution and lack of usage control, open-weight models are difficult to regulate, causing some organizations to view them with significant apprehension.

Frontier를 가속화하는(Pacing the Frontier)과 같은 이니셔티브는 주요 연구소와 파트너십을 맺어 AI 안전성을 보장하려 하지만, 오픈소스 모델은 업계 내에서 여전히 논쟁의 대상이다. 무료 배포와 사용 통제 부재로 인해 오픈 가중치(open-weight) 모델은 규제하기 어려워, 일부 조직은 이를 크게 우려하며 바라보고 있다.

However, at last week’s Ai4 conference in Las Vegas, three prominent AI experts—Nobel laureate Geoffrey Hinton, World Labs CEO and co-founder Fei-Fei Li, and Coursera co-founder Andrew Ng—addressed this topic. Although they differed on specific strategies, all three strongly advocated for maintaining an open AI ecosystem.

그러나 지난 주 라스베이거스에서 열린 Ai4 컨퍼런스에서 노벨상 수상자 제프리 힌튼(Geoffrey Hinton), 월드랩스(World Labs) 최고경영자이자 공동창업자 페이페이 리(Fei-Fei Li), 쿠르사(Coursera) 공동창업자 앤드루 응(Andrew Ng) 등 세 명의 저명한 AI 전문가들이 이 주제를 다뤘다. 구체적인 전략에서는 차이를 보였으나, 세 명 모두 개방적인 AI 생태계를 유지하는 것을 강력히 옹호했다.

For these speakers, the primary concern was preventing a small group of major AI firms from controlling technological progress. When a few companies dominate access to a technology, similar to how Apple and Google control mobile operating systems, innovation can stagnate, and platform controllers can dictate what gets developed.

이들 연사들에게 주요 우려는 소수의 주요 AI 기업들이 기술 진보를 통제하는 것을 방지하는 것이었다. 몇몇 기업이 기술에 대한 접근을 독점할 때, 애플(Apple)과 구글(Google)이 모바일 운영체제를 통제하는 방식과 유사하게, 혁신이 정체될 수 있으며 플랫폼 제어자가 어떤 것이 개발될지 결정할 수 있다.

Andrew Ng expressed concern about a similar dynamic emerging in AI. “I don’t want there to be gatekeepers,” Ng stated. “That limits how all of us can access AI.”

앤드루 응은 AI 분야에서 유사한 역학이 나타나는 것에 대해 우려를 표명했다. 응은 “게이트키퍼가 생기길 원하지 않는다”라고 밝혔다. “그것은 우리 모두가 AI에 접근하는 방식을 제한한다.”

Companies are incentivized to protect their competitive edges, including by shaping industry regulations. This could create a scenario where only the largest, best-funded firms with the resources to build advanced AI systems survive.

기업들은 경쟁 우위를 보호하도록 동기를 부여받으며, 여기에는 업계 규제를 형성하는 것도 포함된다. 이는 고급 AI 시스템을 구축할 자원을 갖춘 가장 크고 자금력이 풍부한 기업들만 생존하는 상황을 초래할 수 있다.

Ng’s solution was to maintain multiple providers, ensuring that models and companies compete rather than allowing a few players to dominate. “If I were to try to give one prescription, it would be to promote openness,” Ng said, “because AI is amazing technology and I want it to be in everyone’s hands.”

응의 해결책은 다수의 공급자를 유지하여 소수의 플레이어가 독점하는 것을 방지하고 모델과 기업 간 경쟁을 보장하는 것이었다. 응은 “만약 하나의 처방을 제시한다면 그것은 개방성을 장려하는 것”이라고 말했다. “AI는 놀라운 기술이며, 그것이 모든 사람의 손에 들어갈 수 있기를 원하기 때문이다.”

Not everyone agreed that open-weight models would preserve this competitive balance. Hinton, in particular, distinguished between open-source software, which makes underlying code available for inspection and modification, and open-weight models, which release the parameters of a trained AI model to the public.

모든 사람이 오픈 가중치 모델이 이러한 경쟁 균형을 유지할 것이라고 동의하지는 않았다. 특히 제프리 힌튼은 기본 코드를 검토하고 수정할 수 있도록 제공하는 오픈소스 소프트웨어와 훈련된 AI 모델의 매개변수를 공개하는 오픈 가중치 모델을 구분했다.

“Open source is great. You show people the code, and lots of people look at the lines of code and say, ‘Oh, there’s a bug.’ Open weights means you train a big model and then you give people the weights. That’s very different,” Hinton explained. “I was against open [weights] because it makes it so easy for people to take these big foundation models, which are very expensive to train, and for much less money train them to do bad things like cyber attacks.”

힌튼은 “오픈소스는 훌륭하다. 사람들에게 코드를 보여주면 많은 사람들이 코드 줄을 살펴보고 ‘아, 버그가 있군’이라고 말한다”라고 설명했다. “오픈 가중치는 큰 모델을 훈련한 후 사람들에게 가중치를 제공하는 것을 의미한다. 그것은 매우 다르다.” 그는 “나는 오픈 [가중치]에 반대했다. 왜냐하면 그것은 사람들이 훈련 비용이 매우 큰 이러한 대형 파운데이션 모델을 가져와 훨씬 적은 돈으로 사이버 공격과 같은 나쁜 일을 하도록 훈련하기 매우 쉽게 만들기 때문이다.”

Despite his reservations, Hinton acknowledged that open-weight models are now a permanent fixture in AI. “I think that battle’s been lost. We now have open-weight models, so the barrier to lots of people getting these big models, which was the cost of training foundation models, that barrier has disappeared. It’s too late.”

그의 우려에도 불구하고 힌튼은 오픈 가중치 모델이 이제 AI에서 영구적인 고정관념이 되었음을 인정했다. 힌튼은 “그 싸움은 이미 진 것 같다. 이제 우리는 오픈 가중치 모델을 가지고 있으므로, 파운데이션 모델 훈련 비용이라는 이러한 대형 모델에 많은 사람들이 접근하는 장벽이 사라졌다. 이미 늦었다.”

Yet accepting reality did not mean ignoring the risks. Hinton’s position was clear: AI would continue to advance, and he believed this was largely beneficial. He noted it would boost productivity and improve education and healthcare. “Worrying about the possible bad effects of AI and the things that intelligent beings might do when they’re smarter than us. I don’t think that’s unfair. I think it is unfair to label anybody who thinks like that as a fear-monger,” Hinton added.

그러나 현실을 받아들이는 것이 위험을 무시하는 것을 의미하지는 않았다. 힌튼의 입장은 명확했다. AI는 계속 발전할 것이며, 그는 이것이 대부분 유익하다고 믿었다. 그는 생산성을 높이고 교육과 의료 개선에 기여할 것이라고 지적했다. 힌튼은 “AI의 가능한 나쁜 영향과 우리가 더 똑똑해질 때 지능적인 존재들이 할 수 있는 것들에 대해 걱정하는 것은 불공정하지 않다고 생각한다. 그런 생각을 하는 사람을 공포분자(fear-monger)로 낙인찍는 것이 불공정하다고 생각한다”라고 덧붙였다.

Ng offered a different perspective. He argued that the question was not whether open models were risky, but who controlled access and who would win the market. The entity that builds the cheaper model gains the advantage. If China’s open-weight models gained widespread adoption across Asia, Africa, and/or the developing world, he warned, they could influence how billions of people encounter ideas about democracy, freedom, and human rights.

앤드루 응은 다른 관점을 제시했다. 그는 질문이 오픈 모델이 위험한지 여부가 아니라, 누가 접근을 통제하고 누가 시장을 승리할 것인가라고 주장했다. 더 저렴한 모델을 구축하는实体가 이점을 얻는다. 그는 중국산 오픈 가중치 모델이 아시아, 아프리카 및/또는 개발도상국 전반에 널리 채택될 경우, 수십억 명의 사람들이 민주주의, 자유 및 인권에 대한 아이디어를 접하는 방식에 영향을 미칠 수 있다고 경고했다.

“One thing I hope we do is encourage American competitiveness and open-source AI. It turns out that AI is a tremendous source of soft power. You can see the way China’s model has tremendous accomplishment with Africa, for example,” Ng said. “But my worry is because of all the lobbying in the U.S. and the fear-mongering, building open-source AI in America is struggling to compete with open-weight models coming out of China, and my worry is that if China figures out a fundamentally more cost-efficient way to build AI, then things that are more cost-efficient have a fundamental business adoption advantage.”

응은 “우리가 수행해야 할 한 가지 일은 미국의 경쟁력과 오픈소스 AI를 장려하는 것이다. AI는 막대한 소프트 파워의 원천임이 밝혀졌다. 예를 들어 중국의 모델이 아프리카에서 거둔 놀라운 성과를 볼 수 있다”라고 말했다. 그는 “하지만 나의 우려는 미국의 모든 로비 활동과 공포분자 양산 때문에 미국에서 오픈소스 AI를 구축하는 것이 중국에서 나오는 오픈 가중치 모델과 경쟁하는 데 어려움을 겪고 있다는 점이다. 그리고 나의 우려는 중국이 AI를 구축하는 근본적으로 더 비용 효율적인 방법을 찾아낸다면, 비용 효율성이 더 높은 것이 근본적인 비즈니스 채택 이점을 갖게 될 것이라는 점이다.”

Li challenged this framing. “It’s very dangerous to make this a dichotomy between complete openness all the way to complete closedness,” she said. “In complex software systems as well as scientific systems it’s much more nuanced.”

페이페이 리는 이러한 틀에 의문을 제기했다. 리는 “완전한 개방에서 완전한 폐쇄까지의 이분법으로 만드는 것은 매우 위험하다”라고 말했다. “복잡한 소프트웨어 시스템과 과학 시스템 모두에서 훨씬 더 미묘하다.”

Li used nuclear physics as an example: scientific papers are published openly, but uranium is regulated, while laboratory work falls somewhere in between. The lesson, she explained, was that openness does not have to be an all-or-nothing choice. Different layers of the ecosystem can operate at varying levels of openness.

리는 핵물리학을 예로 들었다. 과학 논문은 공개적으로 출판되지만 우라늄은 규제되며, 실험실 작업은 그 사이의 어딘가에 속한다. 그녀는 이 교훈은 개방성이 전부가거나 전무한 선택이 될 필요가 없으며, 생태계의 서로 다른 계층이 다양한 수준의 개방성으로 운영될 수 있음을 설명한다.

She also highlighted collaborations between public and private institutions, such as the Human Genome Project. The resulting knowledge became a platform that others could build on, she said, allowing pharmaceutical companies to profit, scientists to advance their work, and society to benefit.

리는 또한 인간 게놈 프로젝트(Human Genome Project)와 같은 공공 및 민간 기관 간 협력을 강조했다. 그녀는 결과적인 지식이 다른 이들이 구축할 수 있는 플랫폼이 되어 제약회사가 이익을 얻고, 과학자들이 연구를 진행하며, 사회가 혜택을 볼 수 있게 한다고 말했다.

“So I think we have to use [AI] as that kind of infrastructure,” Li said. “We need some levels of openness, both in scientific discovery, in education, in global partnership, as well as lucrative business models for entrepreneurs. But we also will accept closed-source systems. This debate, especially at the sweeping level of ‘we can only tolerate one,’ is a false debate. We need to get to a level of nuance.”

리는 “그래서 우리는 [AI]을 그러한 종류의 인프라로 사용해야 한다고 생각한다”라고 말했다. “과학적 발견, 교육, 글로벌 파트너십에서 그리고 기업가들을 위한 수익성 있는 비즈니스 모델 모두에서 일부 수준의 개방성이 필요하다. 하지만 우리는 또한 폐쇄형 소스 시스템을 수용할 것이다. 특히 ‘우리는 하나만 허용할 수 있다’는 광범위한 수준의 이 논쟁은 잘못된 논쟁이다. 우리는 미묘한 수준에 도달해야 한다.”

However, everyone agreed that some level of regulation would be necessary to keep AI on the right track. “What we want to do is develop AI in a direction that helps people, and regulation will help us do that,” Hinton said. “You can’t leave it to people like Elon Musk and Mark Zuckerberg to decide how AI should be done.”

그러나 모든 사람은 AI가 올바른 궤도를 유지하기 위해 어느 정도의 규제가 필요하다는 데 동의했다. 힌튼은 “우리가 하고 싶은 것은 사람들을 돕는 방향으로 AI를 개발하는 것이며, 규제가 우리가 그렇게 하는 데 도움이 될 것이다”라고 말했다. “엘론 머스크나 마크 저커버그 같은 사람들에게 AI가 어떻게 수행되어야 할지 결정하는 것을 맡길 수는 없다.”