Microsoft 임원들은 AI 데이터 스크래핑을 '역사상 가장 큰 노동의 절도'라고 불렀으며, 미삭제된 서류들이 이를 보여준다

The New York Times가 OpenAI와 Microsoft를 상대로 제기한 3년 된 저작권 소송에서 공개된 문서들은 AI 스크래핑이 절도 행위로 간주되며 미디어 기업에 심각한 위협을 가한다는 사실을 인정했다고 밝혔다.

소송서에 따르면, 한 Microsoft 최고경영자는 사적으로 회사의 AI 학습 방법을 “절도”라고 지칭했으며, OpenAI의 리더십은 그들의 콘텐츠를 학습 대상으로 삼은 출판사 및 저널리스트들에게 모델이 “존재론적 위협”을 초래한다고 인정했다.

새롭게 공개된 기록들은 또 다른 회사들이 어떻게 불법적으로 유료 구독 장벽을 우회하여 미탐지 상태로 이 콘텐츠에 접근하고 활용했는지, 대량 스크래핑을 통해 학습 데이터셋을 구축했으며, 의도적으로 데이터에서 저작권 고지문을 제거했는지 상세히 설명한다.

이러한 새로운 정보의 대부분이 실제 증거자료가 아닌 Times의 법적 주장서에서 비롯되었다는 점, 그리고 인용문들은 원래의 맥락 없이 제시되었다는 점은 주목할 필요가 있다.

이 무삭제 제출서는 The New York Times가 생성형 AI 모델을 자신의 콘텐츠로 학습시키는 과정에서 저작권법을 위반했다고 처음 주장한 3년 된 소송의 최신 격화를 나타낸다.

AI 기업이 저작권이 있는 자료를 학습 목적으로 사용할 수 있는지 여부에 대해서는 명확한 법적 답변이 없으나, 판사들은 일반적으로 이러한 학습이 “공정 이용”에 해당한다는 AI 기업들의 주장을 선호해 왔다. 이 법적 원칙은 패러디, 뉴스 보도 또는 비판과 같은 특정 상황에서 허가 없이 저작권이 있는 작품을 사용할 수 있도록 허용한다. 이달 초, 트럼프 행정부는 OpenAI가 대규모 언어 모델을 학습시키기 위해 저작권이 있는 자료를 라이선스 없이 사용한 것을 지지하는 주장서를 제출했다.

그러나 이러한 새로운 인정 사항들 중 일부는 공정 이용 방어론, 특히 그러한 사용이 원작의 시장 대체나 손해를 초래하지 않아야 한다는 요구사항과 모순된다.

예를 들어, Microsoft의 자체 데이터에 따르면 Copilot “답변 엔진”은 기존 Bing 검색에 비해 The New York Times 도메인의 클릭률(CTR)을 최대 93%까지 급감시켰다. Microsoft의 응용과학 책임자인 Brent Hecht가 2024년 1월에 작성한 내부 Microsoft 발표 자료는 이러한 감소를 모델의 성능과 전체 웹 모두에 “손해를 끼치는” “죽음의 고리(doom loop)”로 묘사한다.

“종료 제품(end-product)이 핵심 공급자의 경제적 기반을 위협하는 것은 매우 이례적이지만, 이것이 우리가 LLM 비즈니스와 관련하여 그 ‘콘텐츠 공급망’에 대해 만들어낸 상황입니다.”라고 Microsoft 문서는 제출서에서 인용하며 명시한다.

Microsoft의 CEO인 Satya Nadella는 또한 올해 초 증언에서 “유료 구독 장벽이 있는 모든 것은 이를 사용하고자 하는 누구나 그 기반이나 학습 목적으로 라이선스를 받아야 한다”고 증언했으며, 만약 자신이 “OpenAI가 유료 구독 장벽 뒤의 정보를 스크래핑하고 학습했다는 사실을 알았더라면 OpenAI에게 모델 재학습을 요구할 권리를 행사했을 것”이라고 명확히 했다.

다른 인정 사항들은 공정 이용 테스트의 다른 측면들을 약화시킨다. OpenAI의 ChatGPT 책임자 Nick Turley은 내부 통신에서 채팅봇과 같은 제품들이 “거의 대체 가능”하며 “더욱 좋아질수록 더욱 대체 가능해질 것”이라고 적으며, 출판사들이 이러한 제품들로 인해 “존재론적 위협”에 직면해 있다고 썼다.

OpenAI의 사장 Greg Brockman은 모델들을 “뉴스에 탁월하다”고 묘사했다. Nadella는 올해 초 증언에서 채팅봇과 상호작용하는 것이 “웹사이트나 AI 플랫폼에서 즉시 정보를 제공하는 대신 근본적인 출처로 이동해야 하는 필요성을 대체했다”고 동의했다.

이러한 언어는 기술이 원작을 변형하는 것이 아니라 직접적으로 경쟁할 수 있음을 강조한다.

Microsoft의 한 문서에 따르면 생성형 AI가 “기반 모델을 학습시키는 데 사용된 데이터를 생성한 사람들 자체의 고용을 크게 방해할” “실제 위험”이 존재한다고 한다.

복제의 규모는 놀랍다. 문서들은 처음으로 OpenAI의 중간 학습 데이터셋에만 NYT, Daily News, Center for Investigative Reporting가 출판한 91,692개 이상의 작품 사본이 포함되어 있음을 드러냈다. Common Crawl에서 파생된 데이터셋에는 nytimes.com에서만 200만 개 이상의 문서가 포함되었다.

2023년 1월의 내부 메모에서 Hecht는 이를 “전례 없는 규모의 놀라운 절도”이자 “인류 역사상 가장 큰 노동력 절도”라고 불렀다.

제출서는 OpenAI와 Microsoft가 원고들의 콘텐츠를 어떻게 획득했는지에 대한 새로운 세부 사항을 제공하며, 여기에는 Bing 인덱스에서 스크래핑하는 것이 포함된다.

“OpenAI는 전체 GPT-3 학습 데이터셋을 Microsoft에 전달했으며, Microsoft는 이를 사용하여 자체 상업적 제품 내에서 OpenAI의 모델을 어떻게 구현할지 평가했습니다.”라고 제출서는 명시한다. “Microsoft는 또한 Project Taxi 및 Project Mango라는 이니셔티브를 통해 OpenAI에 학습 데이터를 제공했습니다.”

회사들은 Project Mango 데이터를 최소 160,903개의 고유한 출판사 작품 사본을 포함하는 학습 데이터셋으로 조립한 것으로 alleged된다.

스크래핑의 효과를 극대화하기 위해 OpenAI 직원들은 미탐지 상태로 유료 구독 장벽을 우회하는 계획을 고안한 것으로 alleged된다. 제출서에 따르면, OpenAI 연구원 Nick Ryder가 Brockman에게 “nytimes 유료 구독 장벽을 우회하는 해킹”에 대해 알렸을 때, Brockman은 “아, 좋군”이라고 답했다.

OpenAI 직원들은 또한 WebText 및 WebText2와 같은 학습 데이터셋을 구축했으며, 이는 스크래핑된 뉴스 콘텐츠에 불균형적으로 의존한 것으로 alleged된다. 그들은 또한 무료 오픈 웹 크롤 데이터 저장소인 Common Crawl에서 수백만 편의 기사를 추출한 것으로 alleged된다. 또한 연구원들이 “모델이 사용자에게 저작권 고지문을 출력하는 것을 원하지 않았기” 때문에 모델에 도달하기 전에 학습 데이터에서 저작권 고지문을 제거하려는 의도적인 노력을 설명한다.

OpenAI와 Microsoft는 의견 요청에 응답하지 않았다.