Executivos da Microsoft chamam a raspagem de dados por IA de “maior roubo de trabalho da história”, mostram documentos não censurados

Documentos desarquivados da ação por violação de direitos autorais, que já tem três anos e foi movida pelo The New York Times contra a OpenAI e a Microsoft, revelam uma admissão de que a raspagem de dados por IA constitui roubo e representa uma ameaça grave para os veículos de mídia.

De acordo com a ação, um alto executivo da Microsoft rotulou privadamente os métodos de treinamento de IA das empresas como “roubo”, enquanto a liderança da OpenAI reconheceu que seus modelos criaram uma “ameaça existencial” para as editoras e jornalistas cujo conteúdo os treinou.

Os registros recém-desarquivados também detalham como as empresas supostamente acessaram e utilizaram esse conteúdo, contornando os muros de pagamento sem serem detectadas, construindo conjuntos de dados de treinamento por meio de raspagem em massa e removendo intencionalmente os avisos de direitos autorais dos dados.

É importante notar que grande parte dessas novas informações origina-se do próprio parecer jurídico do Times, e não dos documentos subjacentes, que permanecem sigilosos. As citações abaixo são apresentadas sem seu contexto original.

Este documento sem rasuras marca a mais recente escalada na ação judicial de três anos, na qual o The New York Times alegou inicialmente que as empresas violaram a lei de direitos autorais ao treinar modelos de IA generativa com seu conteúdo.

Não há resposta jurídica clara sobre se as empresas de IA podem usar legalmente material protegido por direitos autorais para treinamento, embora os juízes tenham favorecido geralmente o argumento das empresas de IA de que tal treinamento se qualifica como “uso justo”. Essa doutrina jurídica permite o uso de obras protegidas por direitos autorais sem permissão em casos específicos, como paródia, reportagem jornalística ou crítica. No início deste mês, a administração Trump apresentou um parecer apoiando o uso não licenciado pela OpenAI de material protegido por direitos autorais para treinar seus modelos de linguagem de grande escala.

No entanto, várias dessas novas admissões contradizem a defesa de uso justo da OpenAI, especialmente o requisito de que tal uso não substitua nem prejudique o mercado da obra original.

Por exemplo, os próprios dados da Microsoft indicam que seu “motor de respostas” Copilot fez as taxas de clique para o domínio do The New York Times despencarem em até 93% em comparação com as pesquisas tradicionais do Bing. Uma apresentação interna da Microsoft, elaborada por Brent Hecht, Diretor de Ciência Aplicada da Microsoft, em janeiro de 2024, descreve essa queda como um “ciclo da morte” que prejudicaria simultaneamente “o desempenho de nossos modelos e da web como um todo”.

“É altamente incomum que um produto final ameace as bases econômicas de seus fornecedores essenciais, mas essa é a situação que criamos para nosso negócio de LLMs em relação à sua ‘cadeia de suprimento de conteúdo’”, afirma o documento da Microsoft, conforme citado no processo.

O CEO da Microsoft, Satya Nadella, também testemunhou em um depoimento no início deste ano que “qualquer coisa que esteja atrás de um muro de pagamento deve ser licenciada por qualquer pessoa que queira usá-la… para fundamentação ou treinamento”, e esclareceu que se ele “tivesse sido informado de que a OpenAI havia raspado e treinado com informações que estavam atrás de um muro de pagamento”, ele teria “invocado [o direito da Microsoft de] exigir que a OpenAI retreine seus modelos”.

Outras admissões minam diferentes aspectos do teste de uso justo: o chefe do ChatGPT da OpenAI, Nick Turley, escreveu em comunicações internas que as editoras enfrentam uma “ameaça existencial” de produtos como o chatbot, que são “largamente substitutivos” e “se tornarão cada vez mais substitutivos à medida que melhorarem”.

O presidente da OpenAI, Greg Brockman, descreveu os modelos como “excelentes em notícias”. Nadella concordou sob juramento no início deste ano que interagir com chatbots “substituiu … fornecer a informação diretamente no site na plataforma de IA, em vez de precisar ir à fonte original”.

Esse tipo de linguagem destaca como a tecnologia poderia competir diretamente, em vez de transformar, a obra original.

Um documento da Microsoft afirma que há um “risco real” de que a IA generativa possa “perturbar significativamente o emprego das próprias pessoas que geraram os dados nos quais o modelo base foi treinado”.

A escala pura da cópia é impressionante. Os documentos revelam pela primeira vez que os conjuntos de dados de treinamento intermediário da OpenAI contêm mais de 91.692 cópias de obras publicadas pelo NYT, Daily News e Center for Investigative Reporting. Um conjunto de dados derivado do Common Crawl incluía mais de 2 milhões de documentos apenas do nytimes.com.

Em um memorando interno de janeiro de 2023, Hecht o chamou de “um roubo assustador de proporções sem precedentes” e “o maior roubo de trabalho na história da humanidade”.

O documento fornece novos detalhes sobre como a OpenAI e a Microsoft adquiriram o conteúdo dos autores da ação, incluindo raspá-lo do Índice do Bing.

“A OpenAI entregou à Microsoft todo o conjunto de dados de treinamento do GPT-3, que a Microsoft utilizou para avaliar como implementar os modelos da OpenAI em seus próprios produtos comerciais”, afirma o processo. “A Microsoft forneceu dados de treinamento à OpenAI por meio de iniciativas chamadas Projeto Taxi e Projeto Manga.”

As empresas supostamente montaram os dados do Projeto Manga em um conjunto de dados de treinamento contendo cópias de pelo menos 160.903 obras únicas de editoras de notícias.

Para maximizar a eficácia de sua raspagem, os funcionários da OpenAI supostamente elaboraram um plano para contornar os muros de pagamento sem detecção. Os documentos mostram que, quando o pesquisador da OpenAI Nick Ryder informou a Brockman sobre um “hack para contornar o muro de pagamento do nytimes”, Brockman respondeu: “ah, legal”.

Os funcionários da OpenAI também supostamente construíram conjuntos de dados de treinamento como WebText e WebText2 que dependiam desproporcionalmente de conteúdo de notícias raspado. Eles também supostamente extraíram milhões de artigos do Common Crawl, um repositório gratuito e aberto de dados de rastreamento da web. As descobertas também descrevem esforços deliberados para remover os avisos de direitos autorais dos dados de treinamento antes que eles chegassem ao modelo, já que os pesquisadores “não queriam que o modelo exibisse” “avisos de direitos autorais” aos usuários.

A OpenAI e a Microsoft não retornaram os pedidos de comentário.