O Laboratório de IA de Código Aberto Arcee dos EUA afirma que os modelos chineses não são inerentemente perigosos

As modelos de IA de peso aberto chinesas continuam a ganhar capacidade e participação de mercado, os debates sobre como lidar com elas se intensificaram novamente.

Especula-se que a administração Trump possa tentar proibir esses modelos, embora nenhuma ação tenha sido tomada até o momento. Enquanto isso, os desenvolvedores de modelos proprietários, especialmente a OpenAI e a Anthropic, estão ficando cada vez mais cautelosos com a concorrência.

Modelos de peso aberto, como o Kimi K3 da Moonshot AI ou o Qwen da Alibaba, oferecem inferência a uma fração do custo por token em comparação com os modelos de código fechado dos principais laboratórios dos EUA. Essa vantagem de preço gerou o temor de que eles possam representar uma ameaça à segurança, principalmente ao ameaçar as margens de lucro dos grandes provedores de IA proprietários.

No entanto, as empresas que implantam esses modelos em seus próprios data centers deveriam se preocupar com o risco de eles se tornarem um vetor para hackers chineses?

Não, argumenta Lucas Atkins, CTO da Arcee, uma empresa que desenvolve modelos abertos para oferecer às empresas dos EUA uma alternativa doméstica à IA chinesa.

Se alguma startup se beneficiasse da proibição dos modelos chineses, seria a Arcee. No entanto, Atkins sustenta que os modelos abertos da China não são mais perigosos do que qualquer outro software de código aberto que uma empresa possa utilizar. Na verdade, ele argumenta que eles até oferecem vantagens para sua própria empresa.

“Muitas pessoas veem isso como semelhante a um programa de software chinês, assumindo que foi codificado com intenções específicas que um ator malicioso poderia explorar”, observou ele.

“Isso não é fundamentalmente como esses modelos são treinados. Não há mecanismo para que a Arcee, ou a Alibaba, criem um modelo, o executem em seu ambiente e obtenham qualquer acesso a ele”, explicou.

Embora a maioria desses modelos seja de “peso aberto” em vez de software de código aberto completo, o código-fonte — a parte que realmente é executada nos servidores — é amplamente visível e passível de revisão se baixado de plataformas como o Hugging Face. (O que permanece indisponível são os métodos de treinamento e os conjuntos de dados.)

As grandes organizações devem submeter qualquer núcleo de modelo a rigorosos testes e inspeções de segurança. Elas também costumam realizar o pós-treinamento de modelos para casos de uso específicos, examinando fatores como viés, toxicidade, alucinações e sensibilidade a determinados tópicos. Isso permite que trabalhem com, otimizem e compreendam os modelos antes que os usuários comecem a enviar prompts.

Um modelo de codificação poderia, de alguma forma, injetar backdoors maliciosos no código que gera? Embora teoricamente possível, alcançar isso exigiria feitos técnicos extraordinários.

“Não há razão para que um ator suficientemente sofisticado não pudesse treinar um modelo para se destacar na codificação em todos os cenários, mas acionar um comportamento malicioso oculto quando apresentado a uma base de código específica”, especulou Atkins. No entanto, ele acrescentou: “Não sei como alguém poderia realmente alcançar isso.”

Como os grandes modelos de linguagem são inerentemente criativos, a probabilidade de um modelo contemporâneo gerar malware em resposta a um contexto e prompt perfeitamente orquestrados é baixa. As chances de uma empresa então utilizar esse código são ainda menores.

Isso poderia acontecer no futuro? Isso ainda permanece incerto. No entanto, as empresas estão construindo aplicações de IA para serem independentes de modelos e utilizarem múltiplos modelos. Assim, mesmo que os modelos chineses ofereçam hoje a melhor relação preço-desempenho, as empresas não ficarão presas ao uso deles indefinidamente.

“Acredito que o debate deve mudar de como proibir os modelos chineses para como podemos fomentar um ecossistema robusto e aberto aqui nos EUA”, afirmou Atkins.

A Arcee também se beneficia dos modelos chineses. Como eles são abertos, a startup “ganha valor quando esses modelos performam bem, pois podemos aprender com suas abordagens e construir sobre elas. Então, eles podem aprender com nosso trabalho”, explicou. “Temos um enorme respeito pelos pesquisadores por trás desses modelos.”

Em última análise, a melhor maneira de competir com os modelos chineses “é lançar um modelo superior”, concluiu Atkins. “Precisamos dar a eles algo substancial para discutir.”