A autonomia não controlada da IA representa um risco grave

Se você já andou em um Uber autônomo pelo centro de Los Angeles, deve se lembrar daquela sensação peculiar de incerteza que surge quando não há motorista nem conversa — apenas um carro silencioso interpretando o mundo ao seu redor. A viagem parece normal até que o veículo interpreta mal uma sombra ou freia abruptamente sem que haja uma ameaça real. Naquele instante, você percebe o principal problema da autonomia: ela não entra em pânico quando deveria. Essa lacuna entre sua confiança e seu julgamento é onde a confiança é construída ou quebrada. Grande parte da IA empresarial atual é muito semelhante. Ela é capaz, mas não confiante; eficiente, mas não empática. É por isso que o fator crítico em qualquer implantação bem-sucedida não é mais o poder de computação bruto, mas a confiança.

O relatório MLQ State of AI in Business 2025 [PDF] apresenta um número revelador: 95% dos primeiros pilotos de IA não conseguem entregar um ROI mensurável. Isso não se deve à tecnologia fraca, mas ao fato de ela ser aplicada aos problemas errados. O padrão se repete em todos os setores. Os líderes ficam inquietos quando não conseguem verificar a precisão dos resultados; as equipes duvidam de seus painéis; os clientes perdem a paciência quando uma interação parece robótica em vez de solidária. Qualquer pessoa que já tenha ficado sem acesso à sua conta bancária enquanto um sistema de recuperação automatizado insiste que suas respostas estão erradas sabe como a confiança se evapora rapidamente.

A Klarna continua sendo o exemplo mais divulgado de automação em grande escala no trabalho. A empresa reduziu sua força de trabalho pela metade desde 2022 e relata que sua IA interna agora realiza o trabalho de 853 cargos em tempo integral, contra 700 no início deste ano. A receita aumentou 108% e a remuneração média dos funcionários subiu 60%, em parte financiada por esses ganhos operacionais. No entanto, o quadro é mais complexo. A Klarna ainda registrou um prejuízo trimestral de US$ 95 milhões, e seu CEO alertou para novas reduções de pessoal. Isso mostra que a automação por si só não garante estabilidade. Sem a devida responsabilidade e estrutura, a experiência do usuário se deteriora muito antes da IA. Como afirma Jason Roos, CEO da provedora de CCaaS Cirrus, “qualquer transformação que corrói a confiança, interna ou externamente, acarreta um custo que você não pode ignorar. Ela pode deixar você em uma situação pior”.

Já vimos o que acontece quando a autonomia supera a responsabilidade. O Departamento de Trabalho e Pensões do Reino Unido usou um algoritmo que sinalizou erroneamente cerca de 200.000 pedidos legítimos de auxílio-moradia como potencialmente fraudulentos. O problema não foi a tecnologia, mas a falta de responsabilidade clara sobre suas decisões. Quando um sistema automatizado suspende a conta errada, rejeita um pedido válido ou causa alarme desnecessário, a questão não é apenas “por que o modelo falhou?”, mas “quem é o responsável pelo resultado?”. Sem uma resposta, a confiança se torna frágil.

“O passo que falta é sempre a preparação”, diz Roos. “Se o processo, os dados e as proteções não estiverem em vigor, a autonomia não aumenta o desempenho, mas amplia as fraquezas. A responsabilidade deve vir em primeiro lugar. Comece com o resultado desejado, identifique o esforço desperdiçado, verifique sua preparação e governança e só então automatize. Pule essas etapas e a responsabilidade desaparecerá tão rapidamente quanto os ganhos de eficiência aparecerem.”

Parte do problema é a obsessão com a escala sem a base para sustentá-la. Muitas organizações se apressam em implantar agentes autônomos que podem agir de forma decisiva, mas poucas consideram o que acontece quando essas ações ultrapassam os limites esperados. O Edelman Trust Barometer [PDF] mostra um declínio constante de cinco anos na confiança do público na IA. Um estudo conjunto da KPMG e da Universidade de Melbourne descobriu que os trabalhadores preferem mais envolvimento humano em quase metade das tarefas examinadas. Essas descobertas ressaltam uma verdade simples: a confiança raramente vem de pressionar os modelos com mais força. Ela vem das pessoas que entendem como as decisões são tomadas e da governança que age menos como um freio e mais como um volante.

A mesma dinâmica aparece do lado do cliente. A pesquisa de confiança da PwC revela uma grande lacuna entre a percepção e a realidade: a maioria dos executivos acredita que os clientes confiam em sua organização, mas apenas uma minoria dos clientes concorda. Outras pesquisas mostram que a transparência ajuda a diminuir essa lacuna, com a maioria dos consumidores desejando uma divulgação clara quando a IA é usada nas interações de serviço. Sem essa clareza, as pessoas não se sentem seguras — elas se sentem enganadas, o que prejudica o relacionamento. As empresas que comunicam abertamente sobre o uso da IA não estão apenas protegendo a confiança; elas estão normalizando a ideia de que a tecnologia e o apoio humano podem coexistir.

Parte da confusão decorre do próprio termo “IA agênica”. Grande parte do mercado trata-a como algo imprevisível ou autodirigido, quando na realidade é uma automação do fluxo de trabalho aprimorada com raciocínio e memória. É uma maneira estruturada de os sistemas tomarem decisões limitadas dentro de parâmetros projetados por humanos. Implantações bem-sucedidas e escalonáveis seguem todas a mesma sequência: começam com o resultado a ser melhorado, identificam esforços desnecessários no fluxo de trabalho, avaliam a prontidão do sistema e da equipe para a autonomia e só então selecionam a tecnologia. Inverter essa ordem não acelera as coisas — apenas leva a erros mais rápidos. Como observa Roos, a IA deve expandir o julgamento humano, não substituí-lo.

Tudo isso aponta para uma verdade mais ampla. Cada onda de automação acaba se tornando uma questão social, não apenas técnica. A Amazon construiu seu domínio por meio da consistência operacional, mas também da confiança de que sua encomenda chegaria. Quando essa confiança se perde, os clientes vão embora. A IA segue o mesmo padrão. Você pode implantar sistemas sofisticados e autocorretivos, mas se um cliente se sentir enganado ou induzido em erro em qualquer momento, a confiança se desfaz. Internamente, as mesmas pressões se aplicam. O estudo global da KPMG [PDF] destaca a rapidez com que os funcionários se desligam quando não entendem como as decisões são tomadas ou quem é responsável. Sem essa clareza, a adoção fica estagnada.

À medida que os sistemas agênicos assumem papéis mais conversacionais, a dimensão emocional se torna ainda mais significativa. As primeiras análises das interações autônomas por chat mostram que as pessoas agora julgam sua experiência não apenas pelo fato de terem sido ajudadas, mas também pelo fato de a interação ter sido atenciosa e respeitosa. Um cliente que se sente ignorado raramente guarda sua frustração para si mesmo. O tom emocional da IA está se tornando um fator operacional genuíno, e os sistemas que não atendem a essa expectativa correm o risco de se tornar um passivo.

A dura realidade é que a tecnologia sempre avançará mais rápido do que o conforto instintivo das pessoas com ela. A confiança inevitavelmente ficará para trás em relação à inovação. Isso não é um argumento contra o progresso, mas um apelo à maturidade. Todo líder de IA deve se perguntar: eu confiaria meus próprios dados a esse sistema? Posso explicar sua última decisão em linguagem simples? Quem intervém quando algo dá errado? Se essas respostas não forem claras, a organização não está liderando uma transformação, mas preparando um pedido de desculpas.

Roos resume de forma simples: “A IA agênica não é a preocupação. A IA irresponsável é.”

Quando a confiança se vai, a adoção vai com ela, e o projeto que parecia transformador torna-se mais um na lista de 95% de taxas de falha. A autonomia não é o inimigo. Esquecer quem é responsável é que é. As organizações que mantêm uma mão humana no volante serão as que ainda estarão no controle quando o hype dos veículos autônomos eventualmente desaparecer.