Lar
Estudo da Universidade Estadual de Washington revela as principais contradições do ChatGPT em julgamentos científicos complexos

Um estudo recente da Universidade do Estado de Washington (WSU) revela que, embora o ChatGPT responda com confiança, sua forma de lidar com afirmações científicas complexas se assemelha a adivinhações aleatórias. A pesquisa destaca não apenas a precisão limitada, mas também respostas contraditórias frequentes à mesma pergunta.
O professor Mesut Cicek e sua equipe extraíram 719 hipóteses de pesquisa de revistas especializadas em administração publicadas desde 2021 e as submeteram repetidamente ao modelo para verificação da veracidade.
Embora a precisão aparente do ChatGPT pareça estar em torno de 80%, após levar em conta as suposições aleatórias, seu desempenho real é apenas cerca de 60% melhor do que um lançamento de moeda com 50% de chance. Os pesquisadores classificaram isso como uma “nota baixa, D”. O modelo teve um desempenho especialmente ruim na identificação de afirmações falsas, julgando corretamente apenas 16,4% das proposições falsas.
Os pesquisadores submeteram cada hipótese ao modelo dez vezes e constataram que ele teve dificuldade em manter posições consistentes:
Flutuação nas respostas: em cerca de 73% dos casos, o modelo manteve conclusões consistentes ao longo das dez repetições.
Contradições extremas: em alguns casos, o modelo alternou entre respostas “verdadeiras” e “falsas”, com casos extremos em que metade era verdadeira e metade falsa, apesar de usar exatamente o mesmo prompt.
O estudo observa que os usuários são facilmente enganados pela linguagem fluente e persuasiva da IA, mas isso não indica uma capacidade genuína de raciocínio.
Ausência de compreensão verdadeira: O modelo se baseia na memória e na correspondência de padrões, ao contrário dos seres humanos, que compreendem genuinamente o mundo e o que estão dizendo.
Progresso limitado da versão: Os testes mostraram que o ChatGPT-5 mini atualizado (testado em 2025) teve desempenho semelhante ao das versões anteriores nessa tarefa específica, sem melhorias significativas.
Com base nessas descobertas, Cicek aconselha os gestores empresariais a manterem um alto grau de ceticismo ao tomar decisões complexas. Eles não devem considerar a IA generativa como uma “autoridade” capaz de substituir o julgamento profissional e devem verificar manualmente todas as respostas. As organizações devem aprimorar o treinamento para ajudar os funcionários a compreender tanto os pontos fortes quanto as limitações das ferramentas de IA, evitando vieses decisórios decorrentes da confiança cega.
Este estudo serve como mais um lembrete de que, apesar do rápido desenvolvimento da IA, as capacidades de raciocínio lógico profundo e de avaliação de evidências da tecnologia ainda precisam ser aprimoradas.
Artigo relacionado
Ações dos EUA Atingem Marco Histórico Enquanto Gigantes de IA e Aeroespacial se Preparam para Estreia de Trilião de Dólares
Elon Musk, Sam Altman e Dario Amodei, três titãs do setor de tecnologia, estão avançando rumo a ofertas públicas iniciais (IPOs) para suas respectivas empresas. Com a SpaceX, a OpenAI e a Anthropic — três gigantes da indústria que se aproximam de ava
Startup sueca de IA Lovable Eyes tem avaliação de US$ 13,2 bilhões após rodada principal de investimentos
À medida que as ferramentas de codificação impulsionadas por IA ganham tração, a startup sueca Lovable garantiu uma grande rodada de financiamento. A empresa visa captar US$ 3 bilhões, o que poderia elevar sua avaliação para US$ 13,2 bilhões — o dobr
O Google testa o Agente Remy AI para o Gemini, à medida que o foco se desloca para o controle do usuário
De acordo com o Business Insider, o Google está testando o Remy, um novo agente pessoal de IA para o Gemini. Esta ferramenta tem como objetivo executar tarefas em nome dos usuários, simplificando tanto os fluxos de trabalho profissionais quanto as ro
Recomendações de tópicos especiais relacionados
Comentários (0)

Um estudo recente da Universidade do Estado de Washington (WSU) revela que, embora o ChatGPT responda com confiança, sua forma de lidar com afirmações científicas complexas se assemelha a adivinhações aleatórias. A pesquisa destaca não apenas a precisão limitada, mas também respostas contraditórias frequentes à mesma pergunta.
O professor Mesut Cicek e sua equipe extraíram 719 hipóteses de pesquisa de revistas especializadas em administração publicadas desde 2021 e as submeteram repetidamente ao modelo para verificação da veracidade.
Embora a precisão aparente do ChatGPT pareça estar em torno de 80%, após levar em conta as suposições aleatórias, seu desempenho real é apenas cerca de 60% melhor do que um lançamento de moeda com 50% de chance. Os pesquisadores classificaram isso como uma “nota baixa, D”. O modelo teve um desempenho especialmente ruim na identificação de afirmações falsas, julgando corretamente apenas 16,4% das proposições falsas.
Os pesquisadores submeteram cada hipótese ao modelo dez vezes e constataram que ele teve dificuldade em manter posições consistentes:
Flutuação nas respostas: em cerca de 73% dos casos, o modelo manteve conclusões consistentes ao longo das dez repetições.
Contradições extremas: em alguns casos, o modelo alternou entre respostas “verdadeiras” e “falsas”, com casos extremos em que metade era verdadeira e metade falsa, apesar de usar exatamente o mesmo prompt.
O estudo observa que os usuários são facilmente enganados pela linguagem fluente e persuasiva da IA, mas isso não indica uma capacidade genuína de raciocínio.
Ausência de compreensão verdadeira: O modelo se baseia na memória e na correspondência de padrões, ao contrário dos seres humanos, que compreendem genuinamente o mundo e o que estão dizendo.
Progresso limitado da versão: Os testes mostraram que o ChatGPT-5 mini atualizado (testado em 2025) teve desempenho semelhante ao das versões anteriores nessa tarefa específica, sem melhorias significativas.
Com base nessas descobertas, Cicek aconselha os gestores empresariais a manterem um alto grau de ceticismo ao tomar decisões complexas. Eles não devem considerar a IA generativa como uma “autoridade” capaz de substituir o julgamento profissional e devem verificar manualmente todas as respostas. As organizações devem aprimorar o treinamento para ajudar os funcionários a compreender tanto os pontos fortes quanto as limitações das ferramentas de IA, evitando vieses decisórios decorrentes da confiança cega.
Este estudo serve como mais um lembrete de que, apesar do rápido desenvolvimento da IA, as capacidades de raciocínio lógico profundo e de avaliação de evidências da tecnologia ainda precisam ser aprimoradas.
Ações dos EUA Atingem Marco Histórico Enquanto Gigantes de IA e Aeroespacial se Preparam para Estreia de Trilião de Dólares
Elon Musk, Sam Altman e Dario Amodei, três titãs do setor de tecnologia, estão avançando rumo a ofertas públicas iniciais (IPOs) para suas respectivas empresas. Com a SpaceX, a OpenAI e a Anthropic — três gigantes da indústria que se aproximam de ava
Startup sueca de IA Lovable Eyes tem avaliação de US$ 13,2 bilhões após rodada principal de investimentos
À medida que as ferramentas de codificação impulsionadas por IA ganham tração, a startup sueca Lovable garantiu uma grande rodada de financiamento. A empresa visa captar US$ 3 bilhões, o que poderia elevar sua avaliação para US$ 13,2 bilhões — o dobr











