Como o governo determinou que o modelo “Frontier” da OpenAI era seguro para ser lançado

A OpenAI lançou seu mais recente modelo de linguagem avançado, o Sol, disponibilizando-o ao público em geral. O Sol é amplamente considerado como equivalente ao Fable, da Anthropic, um modelo tão polêmico que chegou a despertar preocupações na Casa Branca por um breve período, levando a uma restrição temporária ao acesso público.

Como esses modelos acabaram recebendo aprovação para lançamento? A resposta ainda não está clara.

“Francamente, não tenho visibilidade desses processos exatos, então, sim, não sinto que tenha informações suficientes para dizer se eles são adequados ou não”, disse Mina Narayanan, analista sênior de pesquisa do Centro de Segurança e Tecnologia Emergente da Universidade de Georgetown, ao TechCrunch. “A Anthropic afirmou que estava em negociações com o governo e que desenvolveu um classificador para detectar tentativas de jailbreak, além de ter implementado estratégias defensivas para impedir futuros jailbreaks, mas não está claro exatamente como foi esse diálogo entre o governo, a Anthropic e a OpenAI.”

Dean W. Ball, ex-consultor de políticas de Trump que agora trabalha na OpenAI, observou em seu boletim informativo no mês passado que “ninguém sabe quais são os requisitos para obter a licença”.

Andy Konwinski, cientista da computação que cofundou a Databricks, a Perplexity e o Laude Institute, afirmou que nunca conversou com ninguém que compreenda totalmente o processo, nem mesmo entre funcionários dos principais laboratórios de IA. “É um problema existencial”, disse ele ao TechCrunch. “Segurança ou não, trata-se de quem tem o poder de tomar decisões — quem controla o acesso e decide sobre as permissões?”

Dezoito meses após o início do governo Trump, ainda há pouca clareza sobre como seguir em frente, apesar de — ou, como alegam alguns críticos, justamente por causa de — figuras do setor estarem moldando as políticas. No mês passado, após semanas de disputas internas, foi publicada uma ordem executiva traçando um roteiro para a avaliação de modelos de ponta, mas detalhes específicos continuam em aberto, exceto o que não existirá. “Não haverá uma FDA para a IA”, disse Sriram Krishnan, ex-sócio da Andreessen Horowitz que atuou como consultor sênior para IA na Casa Branca até o mês passado, ao Financial Times.

Notavelmente, ainda não há consenso sobre quais tipos de modelos exigem fiscalização governamental ou qual agência — ou quais agências — deveriam conduzir essas avaliações. Por enquanto, o Centro de Padrões e Inovação em IA do Departamento de Comércio parece estar liderando os esforços, mas a ordem executiva determina que seis órgãos do gabinete definam um processo definitivo até o início de agosto. O que surgiu nesse meio tempo é, na melhor das hipóteses, uma medida ad hoc.

O CEO da OpenAI, Sam Altman, disse à CNBC que o processo envolveu discussões com autoridades como o secretário de Comércio, Howard Lutnick, o secretário do Tesouro, Scott Bessent, e o diretor nacional de segurança cibernética dos EUA, Sean Cairncross, mas ainda não está claro quem foram os especialistas que testaram os modelos nem como conduziram esses testes. A OpenAI se recusou a compartilhar detalhes sobre o processo do governo com o TechCrunch, apontando, em vez disso, para os resultados de várias avaliações externas realizadas por organizações como a AISI do Reino Unido, a SecureBio e a Irregular, incluídas no cartão de segurança do modelo mais recente.

De forma semelhante ao lançamento do Fable pela Anthropic, a OpenAI apresentou uma prévia do modelo para o governo e usuários selecionados antes do lançamento mais amplo, mas não se sabe quem eram todos esses usuários nem como foram selecionados. Em uma postagem no blog no final de junho, a empresa afirmou: “não acreditamos que esse tipo de processo de acesso do governo deva se tornar o padrão a longo prazo”, acrescentando que trabalharia com o governo para desenvolver um caminho diferente daqui para frente.

O pano de fundo dessas conversas inclui relatos de que Altman ofereceu até 5% do capital social da OpenAI para as chamadas “Contas Trump” do governo, além do papel do presidente da OpenAI, Greg Brockman, como o maior doador publicamente conhecido para a campanha eleitoral de meio de mandato de Trump. É difícil para observadores externos separar essas atividades da abordagem aparentemente mais branda do governo em relação à regulamentação do Sol.

O Fable, da Anthropic, por outro lado, foi temporariamente retirado do acesso público quando o governo dos EUA proibiu seu uso por estrangeiros, em parte devido a preocupações genuínas de que usuários pudessem “desbloquear” o modelo para acessar recursos de hacking e, em parte, devido a desentendimentos entre a Anthropic e o governo Trump. A ameaça de uma proibição de exportação também pode ter incentivado a OpenAI a ser mais cooperativa com as solicitações (desconhecidas) do governo.

Do ponto de vista do setor, uma abordagem de não intervenção na regulamentação pode parecer atraente, mas uma que dependa de conexões pessoais com autoridades do governo gera incerteza e incentivos negativos.

Konwinski disse ao TechCrunch que teme que os verdadeiros especialistas nessa tecnologia — “pesquisadores de segurança, pesquisadores de alinhamento, pesquisadores de interpretabilidade, mas também profissionais de dados e pessoas de todas as áreas da pilha de tecnologia” — não estejam desempenhando um papel suficiente no processo de lançamento do modelo.

Konwinski argumenta que um “patrimônio comum aberto” é a melhor maneira de equilibrar segurança e inovação. Ele cita modelos como a FDA, o NIH ou laboratórios nacionais, que reúnem pesquisadores, autoridades governamentais e empresas privadas para chegar a um consenso sobre questões de segurança.

Parte disso se resume aos incentivos do capitalismo que têm motivado pesquisadores de IA há mais de uma década e que vieram à tona no tribunal durante o processo movido por Elon Musk contestando a estrutura corporativa da OpenAI. Ball destaca que a natureza do negócio de IA exige que as empresas recuperem grande parte de seus custos de treinamento logo após o lançamento de seus modelos e se mantenham à frente da concorrência.

“Mesmo que suas intenções sejam boas, há obrigações legais e responsabilidade fiduciária muito claras que estão incorporadas diretamente nos procedimentos operacionais”, ressalta Konwinski.

Ball, em sua postagem, argumentou que o caminho a seguir dependerá de organizações de auditoria independentes, licenciadas pelo governo, que avaliarão a abordagem dos laboratórios de ponta em relação à segurança. Konwinski também se mostra otimista em relação a novos formatos institucionais, como organizações de pesquisa especializadas, que poderiam ajudar mais especialistas imparciais do meio acadêmico e do setor sem fins lucrativos a acessar e avaliar modelos de ponta.

Por enquanto, o sigilo em torno do desenvolvimento da IA não vai desaparecer, mas também gerará desafios políticos para um setor que os americanos veem cada vez mais com ceticismo. “Não há a sensação de que pessoas responsáveis estejam impulsionando essas mudanças”, disse Remzi Arpaci-Dusseau, professor de ciência da computação da Universidade de Wisconsin-Madison, na semana passada, na conferência Open Frontier.

No mesmo evento, David Siegel, o cientista da computação que fundou a Two Sigma, um dos fundos de hedge quantitativos de maior sucesso, pediu aos participantes que “imaginassem uma situação, que eu considero muito ruim, [em que] um pequeno número de empresas controla a tecnologia; o governo, em seus laboratórios secretos, esteja avaliando se a tecnologia é ou não adequada para uso; e o público em geral e a comunidade científica não tenham realmente acesso a nada disso.”

Parece que não precisamos imaginar isso.