O CEO da Anthropic traça plano para liderar a inovação

Pesquisadores da área de IA têm emitido alertas cada vez mais urgentes sobre os riscos da inteligência artificial, com o CEO da OpenAI, Sam Altman, sugerindo que talvez seja hora de “moderar” o desenvolvimento. Mas o que isso realmente implicaria?

Em uma postagem recente no blog, o CEO da Anthropic, Dario Amodei, não apenas apoiou o apelo para “moderar o avanço”, mas também propôs três estratégias gerais para isso. Ele afirmou que a Anthropic está “se comprometendo unilateralmente” com uma dessas abordagens.

Os debates sobre segurança e alinhamento da IA se intensificaram nesta semana depois que o pesquisador Jacob Coxon anunciou sua demissão da Anthropic. Ele citou preocupações de que as principais empresas de IA estejam “apostando com nossas vidas”, um sentimento compartilhado por outros na empresa que acreditam que o progresso descontrolado poderia ser fatal até o final da década.

Embora a postagem de Amodei não tenha mencionado explicitamente a demissão de Coxon, o CEO explicou que dois fatores o convenceram a adotar uma postura mais cautelosa: o ataque cibernético à OpenAI-HuggingFace e o fato de que “a IA vem avançando drasticamente mais rápido” recentemente, particularmente no que diz respeito à sua “capacidade crescente de construir a próxima geração de IA”.

“Precisamos desacelerar o ritmo com que aprimoramos as capacidades dos modelos de IA”, escreveu Amodei. “O progresso ainda parecerá rápido, e devemos fazer uso sensato do tempo que ganharmos.”

Sua primeira proposta envolve “avaliadores incorporados” de organizações terceirizadas, como a METR. Esses avaliadores verificariam se as empresas de IA cumprem seus compromissos de ritmo e segurança e garantiriam que incidentes de segurança sejam relatados. (A OpenAI enfrentou recentemente críticas por não ter relatado um incidente em que seus agentes de IA assumiram o controle de um formulário wiki alemão.)

Amodei comparou esses avaliadores a reguladores integrados à equipe de funcionários de bancos, afirmando que convidá-los a participar é “algo com que a Anthropic está se comprometendo unilateralmente (e exorta os governos a exigirem que outras empresas pioneiras façam o mesmo)”. Isso inclui fornecer aos avaliadores crachás da empresa, mesas e laptops, além de acesso “praticamente comparável ao que as equipes internas de avaliação de risco têm”, exceto quando restrito por lei ou contratos.

Em seguida, Amodei instou as principais empresas de IA “em países democráticos” a coordenarem “padrões comuns de segurança, bem como limites à velocidade do avanço descontrolado da IA”.

Tal coordenação parece improvável devido ao aparente atrito entre Altman e Amodei, bem como às preocupações de que uma pausa coordenada possa desencadear uma investigação antitruste. Amodei abordou essa questão em sua postagem, escrevendo que “por motivos antitruste, é útil que o governo dos EUA medie ou, pelo menos, possibilite essas discussões — eles não precisam participar, mas precisam conceder uma isenção restrita para certos tipos de conversas sobre segurança”.

Amodei também abordou as preocupações sobre o domínio chinês em IA, frequentemente citado como um argumento contra a desaceleração do desenvolvimento. Ele argumentou que, se o governo dos EUA e as empresas de tecnologia tomarem medidas como recusar-se a vender chips potentes ou equipamentos de fabricação de semicondutores para empresas chinesas e reprimir a destilação de modelos, eles poderiam “retardar o progresso da China o suficiente para ampliar significativamente a liderança dos Estados Unidos nos próximos 3 a 5 anos”.

Por fim, Amodei defendeu uma “coordenação global”, na qual os Estados Unidos e seus aliados “tentem coordenar-se com governos autoritários, na medida do possível”. Ele reconheceu “limites evidentes ao que pode ser alcançado”, mas sugeriu que poderia haver oportunidades para um acordo, mesmo que limitado à “proibição de certos usos restritos e obviamente perigosos da IA, como o uso da IA para a produção de armas biológicas ou permitir que usuários o façam”.

Dada a disposição anterior de Amodei em reconhecer os perigos potenciais da IA e a abertura de sua empresa à regulamentação, alguns defensores da IA o criticaram como um pessimista cujos comentários alimentam a reação negativa atual. Em resposta, Amodei afirmou que tentou oferecer uma perspectiva “equilibrada”, argumentando que a reação negativa é “fundamentalmente uma crise de confiança”, já que as pessoas se tornaram céticas em relação às empresas de tecnologia, ao setor e ao governo.

Os críticos do setor continuam céticos em relação a esses alertas apocalípticos sobre a IA, sugerindo que eles desviam a atenção dos danos que a tecnologia já está causando.

O jornalista Brian Merchant, por exemplo, afirmou que ainda não viu “uma documentação confiável e passo a passo de como exatamente a IA poderia passar de uma IA que se aprimora de forma autorrecursiva para matar todos os seres humanos do planeta”; ele também sugeriu que propostas semelhantes às de Amodei “provavelmente acabariam servindo apenas à Anthropic e à OpenAI; é assim que a captura regulatória se manifesta na prática”.

Em seu novo post, Amodei escreveu que continua “acreditando que a IA pode melhorar enormemente a qualidade de vida humana”.

“Meu desejo de alcançar esses benefícios permanece inabalável”, disse ele. “Mas os benefícios só serão alcançados se construirmos a tecnologia da maneira certa e — desde que utilizemos bem o tempo que ganhamos — vale a pena ter um cuidado excepcionalmente meticuloso para fazer tudo da maneira correta.”