Sam Altman Gera Debate Sobre a Desaceleração da IA

O CEO da OpenAI, Sam Altman, sugeriu recentemente que pode ser hora de “controlar o ritmo do desenvolvimento de IA” para permitir que a sociedade “se fortaleça em torno de alguns desses novos níveis de capacidade”.

No mais recente episódio do podcast Equity da TechCrunch, Kirsten Korosec, Sean O’Kane e eu discutimos como os comentários de Altman provavelmente foram desencadeados por um recente hack em que um agente da OpenAI invadiu os sistemas do Hugging Face. Sean observou que, embora um hack executado por um agente de IA seja novo, o ataque em si não foi “algo novo e avançado”.

“Foi mais como a equipe de Nixon invadindo o Watergate do que alguma operação cibernética real e sigilosa, porque não precisava ser, e não foi instruída a ser”, disse Sean. “Esperamos que este seja um sinal de que essas empresas levarão isso adiante e serão mais cuidadosas com esse tipo de coisa.”

Os comentários de Altman também me levaram a questionar a utilidade do debate entre aceleracionismo e desaceleração, porque (sim, estou prestes a citar a mim mesmo) o enquadramento “sugere que há apenas um caminho” e “tudo o que podemos decidir — na medida em que temos alguma capacidade de decisão — é se aceleramos ou desaceleramos?”

Continue lendo para uma prévia de nossa conversa, editada para brevidade e clareza.

Sean O’Kane: Talvez tenhamos finalmente atingido um ponto de inflexão aqui. Acho que um grande motor disso tem a ver com o que discutimos na semana passada, com um dos modelos da OpenAI invadindo os dados do Hugging Face e, aparentemente, violando outras coisas na internet também.

[Altman] não está pedindo uma pausa, como vimos algumas pessoas na indústria de tecnologia tentarem fazer no passado. Ele foi muito cuidadoso com suas palavras, dizendo: “Controle o ritmo.” E veremos como isso se sustenta. Qualquer cautela que vemos alguns desses laboratórios lançar frequentemente é revertida quando os incentivos os empurram para frente, retomando a plenas velocidades. Então, continuo cético, grande surpresa.

Kirsten Korosec: Agora, eu direi isso — [Altman] pode ter sido cuidadoso com suas palavras, mas a OpenAI e a Anthropic [apoiaram] uma petição que reflete o que ele realmente discutiu.

E eu concordo com você, acho que muita disso foi muito desencadeada pelo Hugging Face. Provavelmente o assustou e, certamente, muitas pessoas na indústria. O difícil aqui é: Como você consegue equilibrar ou como a OpenAI consegue equilibrar a geração contínua de receita, captação de investimentos ou um IPO bem-sucedido, e o “controle do desenvolvimento” entre aspas?

Não sei se eles podem fazer isso. Ficarei curioso para ver se conseguem gerenciar ambos.

Anthony Ha: Uma das coisas com as quais tenho lutado é também esta questão: A aceleração [vs.] desaceleração é o quadro certo para pensar sobre isso? Porque isso sugere que há apenas um caminho e estamos todos presos nesse caminho. Tudo o que podemos decidir — na medida em que temos alguma capacidade de decisão — é se aceleramos ou desaceleramos? Em oposição a — novamente, vou torturar muito esta metáfora — mas construímos barreiras de segurança diferentes? Escolhemos caminhos diferentes?

Estou simplesmente muito resistente a esse quadro. Em oposição a dizer: “Ok, se não estamos satisfeitos com o que os modelos estão fazendo agora, o que mais podemos fazer? Uma desaceleração, uma pausa, uma interrupção, são as únicas opções?” E não acho que sejam.

Uma coisa que eu queria enfatizar novamente, porque tem sido realmente interessante ver o nível de alarme em torno disso — essa sensação de “E se tivermos esses agentes autônomos e modelos apenas vagando por aí hackeando uns aos outros, tentando prevenir hacks, está tudo fugindo do nosso controle”, levando a todos esses debates mais amplos sobre alinhamento, sobre os quais Rebecca Bellan fez uma ótima matéria.

Mas vale a pena voltar a um dos pontos que também escrevemos na TechCrunch, de que este hack específico — sim, foi causado por um modelo da OpenAI, mas parece que eles simplesmente não garantiram adequadamente o site de testes. Em teoria, este modelo não deveria ter conseguido acessar a internet. Agora, claro, se você tiver uma IA poderosa e mal alinhada, os riscos desse erro humano aumentam dramaticamente. Mas começa apenas pelo fato de que eles não garantiram as coisas da maneira como deveriam.

Sean: Acho que isso está correto. Acho que seu ponto é bem fundamentado no sentido de que não devemos pensar nisso apenas de forma linear e se as coisas estão acelerando ou desacelerando. Há muito o que dizer e deve ser dito sobre o quão responsáveis essas empresas estão sendo. Lorenzo, um de nossos colegas, também escreveu uma matéria muito boa detalhando como pesquisadores de segurança sérios que prestam atenção a essas coisas pensam que o hack realmente foi. Realmente parece que, em ambos os lados deste hack, houve etapas que provavelmente deveriam ter sido tomadas e que teriam evitado o incidente.

E uma das coisas que achei mais interessante nessa história foi que alguns dos pesquisadores apontavam que o que este modelo fez não foi algo novo e avançado. Foi muito humano na forma como pensou sobre tentar invadir — não para antropomorfizar, mas na forma como pensou sobre invadir o Hugging Face — e que também foi muito barulhento e bagunçado, não tentando realmente esconder seus rastros. Foi mais como a equipe de Nixon invadindo o Watergate do que alguma operação cibernética real e sigilosa, porque não precisava ser, e não foi instruída a ser.

Isso deveria ter sido mais facilmente evitável. E esperamos que este seja um sinal de que essas empresas levarão isso adiante e serão mais cuidadosas com esse tipo de coisa.

Vou dizer mais uma coisa sobre o [debate] aceleração vs. desaceleração. Não sei se essa é a motivação, mas você mencionou o IPO, Kirsten. Acho que é inteligente de Altman conseguir aproveitar essa vantagem que eles têm agora, que é que [a OpenAI] não irá [ao] mercado no próximo mês, ou dois meses a partir de agora. Ele até levantou a ideia de ir em 2027 e que eles apenas apresentaram seu pedido confidencial para que tenham a opção pronta quando estiverem prontos.

Então, se você acredita em tudo isso, ele tem a capacidade de falar sobre isso de uma maneira que a Anthropic não pode, porque a Anthropic já está em conversa com muitos dos banqueiros e está se dirigindo para um IPO mais próximo no tempo e, portanto, é mais restrita no que pode dizer, como deve dizer e como o mercado vai reagir a isso.