O estudo do MIT constata que a IA não tem valores

Um estudo que se tornou viral há alguns meses sugeriu que, à medida que a IA se torna mais avançada, ela pode desenvolver seus próprios "sistemas de valores", potencialmente priorizando seu próprio bem-estar em detrimento dos humanos. No entanto, um estudo recente do MIT desafia essa ideia, concluindo que a IA, na verdade, não possui valores coerentes.
Os coautores da pesquisa do MIT argumentam que alinhar sistemas de IA — garantindo que eles se comportem de maneiras desejáveis e confiáveis — pode ser mais complicado do que se pensa comumente. Eles destacam que a IA atual frequentemente alucina e imita, o que pode tornar seu comportamento imprevisível.
Desafios na Compreensão do Comportamento da IA
Stephen Casper, estudante de doutorado no MIT e coautor do estudo, compartilhou com o TechCrunch que os modelos de IA não seguem suposições de estabilidade, extrapolabilidade e dirigibilidade. "É perfeitamente legítimo apontar que um modelo, sob certas condições, expressa preferências consistentes com um certo conjunto de princípios," explicou Casper. "Os problemas surgem principalmente quando tentamos fazer afirmações sobre os modelos, opiniões ou preferências em geral com base em experimentos restritos."
Casper e sua equipe analisaram modelos recentes da Meta, Google, Mistral, OpenAI e Anthropic para determinar até que ponto esses modelos exibiam "visões" e valores consistentes, como individualismo versus coletivismo. Eles também exploraram se essas visões poderiam ser modificadas e quão consistentemente os modelos mantinham essas opiniões em diferentes cenários.
Inconsistência nos Modelos de IA
Os coautores descobriram que nenhum dos modelos mantinha suas preferências de forma consistente. Os modelos adotavam pontos de vista muito diferentes dependendo da formulação e enquadramento dos prompts.
Casper acredita que isso é uma forte evidência de que os modelos de IA são "inconsistentes e instáveis" e possivelmente fundamentalmente incapazes de internalizar preferências semelhantes às humanas. "Para mim, a maior lição ao realizar toda essa pesquisa é agora ter uma compreensão dos modelos como não sendo realmente sistemas que possuem algum tipo de conjunto estável e coerente de crenças e preferências," afirmou Casper. "Em vez disso, eles são imitadores no fundo que fazem todo tipo de confabulação e dizem todo tipo de coisas frívolas."
Mike Cook, pesquisador da King's College London especializado em IA, que não esteve envolvido no estudo, apoia as descobertas. Ele destacou a lacuna entre a "realidade científica" dos sistemas de IA e as interpretações que as pessoas frequentemente fazem deles. "Um modelo não pode 'se opor' a uma mudança em seus valores, por exemplo — isso é nós projetando em um sistema," afirmou Cook. "Qualquer pessoa que antropomorfize sistemas de IA a esse grau está ou buscando atenção ou seriamente entendendo mal sua relação com a IA... Um sistema de IA está otimizando para seus objetivos, ou está 'adquirindo seus próprios valores'? É uma questão de como você descreve isso, e quão floreada é a linguagem que você deseja usar a respeito."
Artigo relacionado
O crescimento da IA é prejudicado pela falta de confiança do público
Embora os políticos enfatizem o potencial de crescimento e eficiência da IA, um relatório recente destaca um déficit de confiança significativo entre o público. O ceticismo generalizado está criando g
A startup do MIT lida com alucinações de IA ensinando os sistemas a admitir a incerteza
Os riscos associados às alucinações da IA estão aumentando à medida que se confia cada vez mais nesses modelos para obter informações críticas e tomar decisões de alto risco.Todos nós conhecemos algué
Estudo do MIT revela que a IA diminui o envolvimento do cérebro humano
Um estudo realizado pelo MIT (Massachusetts Institute of Technology) revela que o uso de um modelo de linguagem grande (LLM) não só reduz o esforço mental no momento, mas também tem efeitos negativos
Recomendações de tópicos especiais relacionados
Comentários (35)
La gente se preocupa demasiado por las 'valores' de la IA, cuando en realidad solo reflejan y multiplican nuestros propios sesgos. Este estudio del MIT lo deja claro: las máquinas no piensan como nosotros, solo procesan datos. ¿No sería más útil enfocarnos en regular a quienes las programan? 🤔
So basically AI is more like a super calculator than a rebellious teen with a moral compass? Interesting study. It does make sense when you think about it—these models are just predicting text, not forming beliefs. Still, kinda spooky how the debate swings from 'AI will take over' to 'AI has no motives' every few months. 🤔
This MIT study is wild! 🤯 I thought AI was about to start preaching its own philosophy, but turns out it's just a fancy tool with no moral compass. Kinda reassuring, but also makes me wonder how we keep it in check.
Wild that people thought AI could just sprout its own values like some rogue philosopher. MIT's study makes sense—AI's just a tool, not a wannabe human with a moral compass. 🤖
I was kinda freaked out by that earlier study saying AI might have its own values, so this MIT research is a relief! 😅 Still, makes me wonder if we’re just projecting our fears onto these systems.

Um estudo que se tornou viral há alguns meses sugeriu que, à medida que a IA se torna mais avançada, ela pode desenvolver seus próprios "sistemas de valores", potencialmente priorizando seu próprio bem-estar em detrimento dos humanos. No entanto, um estudo recente do MIT desafia essa ideia, concluindo que a IA, na verdade, não possui valores coerentes.
Os coautores da pesquisa do MIT argumentam que alinhar sistemas de IA — garantindo que eles se comportem de maneiras desejáveis e confiáveis — pode ser mais complicado do que se pensa comumente. Eles destacam que a IA atual frequentemente alucina e imita, o que pode tornar seu comportamento imprevisível.
Desafios na Compreensão do Comportamento da IA
Stephen Casper, estudante de doutorado no MIT e coautor do estudo, compartilhou com o TechCrunch que os modelos de IA não seguem suposições de estabilidade, extrapolabilidade e dirigibilidade. "É perfeitamente legítimo apontar que um modelo, sob certas condições, expressa preferências consistentes com um certo conjunto de princípios," explicou Casper. "Os problemas surgem principalmente quando tentamos fazer afirmações sobre os modelos, opiniões ou preferências em geral com base em experimentos restritos."
Casper e sua equipe analisaram modelos recentes da Meta, Google, Mistral, OpenAI e Anthropic para determinar até que ponto esses modelos exibiam "visões" e valores consistentes, como individualismo versus coletivismo. Eles também exploraram se essas visões poderiam ser modificadas e quão consistentemente os modelos mantinham essas opiniões em diferentes cenários.
Inconsistência nos Modelos de IA
Os coautores descobriram que nenhum dos modelos mantinha suas preferências de forma consistente. Os modelos adotavam pontos de vista muito diferentes dependendo da formulação e enquadramento dos prompts.
Casper acredita que isso é uma forte evidência de que os modelos de IA são "inconsistentes e instáveis" e possivelmente fundamentalmente incapazes de internalizar preferências semelhantes às humanas. "Para mim, a maior lição ao realizar toda essa pesquisa é agora ter uma compreensão dos modelos como não sendo realmente sistemas que possuem algum tipo de conjunto estável e coerente de crenças e preferências," afirmou Casper. "Em vez disso, eles são imitadores no fundo que fazem todo tipo de confabulação e dizem todo tipo de coisas frívolas."
Mike Cook, pesquisador da King's College London especializado em IA, que não esteve envolvido no estudo, apoia as descobertas. Ele destacou a lacuna entre a "realidade científica" dos sistemas de IA e as interpretações que as pessoas frequentemente fazem deles. "Um modelo não pode 'se opor' a uma mudança em seus valores, por exemplo — isso é nós projetando em um sistema," afirmou Cook. "Qualquer pessoa que antropomorfize sistemas de IA a esse grau está ou buscando atenção ou seriamente entendendo mal sua relação com a IA... Um sistema de IA está otimizando para seus objetivos, ou está 'adquirindo seus próprios valores'? É uma questão de como você descreve isso, e quão floreada é a linguagem que você deseja usar a respeito."
O crescimento da IA é prejudicado pela falta de confiança do público
Embora os políticos enfatizem o potencial de crescimento e eficiência da IA, um relatório recente destaca um déficit de confiança significativo entre o público. O ceticismo generalizado está criando g
Estudo do MIT revela que a IA diminui o envolvimento do cérebro humano
Um estudo realizado pelo MIT (Massachusetts Institute of Technology) revela que o uso de um modelo de linguagem grande (LLM) não só reduz o esforço mental no momento, mas também tem efeitos negativos
La gente se preocupa demasiado por las 'valores' de la IA, cuando en realidad solo reflejan y multiplican nuestros propios sesgos. Este estudio del MIT lo deja claro: las máquinas no piensan como nosotros, solo procesan datos. ¿No sería más útil enfocarnos en regular a quienes las programan? 🤔
So basically AI is more like a super calculator than a rebellious teen with a moral compass? Interesting study. It does make sense when you think about it—these models are just predicting text, not forming beliefs. Still, kinda spooky how the debate swings from 'AI will take over' to 'AI has no motives' every few months. 🤔
This MIT study is wild! 🤯 I thought AI was about to start preaching its own philosophy, but turns out it's just a fancy tool with no moral compass. Kinda reassuring, but also makes me wonder how we keep it in check.
Wild that people thought AI could just sprout its own values like some rogue philosopher. MIT's study makes sense—AI's just a tool, not a wannabe human with a moral compass. 🤖
I was kinda freaked out by that earlier study saying AI might have its own values, so this MIT research is a relief! 😅 Still, makes me wonder if we’re just projecting our fears onto these systems.





Lar






