A startup do MIT lida com alucinações de IA ensinando os sistemas a admitir a incerteza

Os riscos associados às alucinações da IA estão aumentando à medida que se confia cada vez mais nesses modelos para obter informações críticas e tomar decisões de alto risco.

Todos nós conhecemos alguém que se comporta como um sabe-tudo, recusando-se a admitir ignorância ou oferecendo conselhos questionáveis com base em algo que foi lido on-line. As alucinações da IA são como esse amigo - mas, nesse caso, o amigo pode estar projetando seu tratamento contra o câncer.

É aqui que a Themis AI entra em cena. Criada no MIT, a empresa conseguiu algo que parece simples no conceito, mas é tecnicamente desafiador: ensinar os sistemas de IA a reconhecer e admitir a incerteza.

Os modelos de IA tendem a ser excessivamente confiantes. A plataforma Capsa da Themis oferece uma verificação da realidade, ajudando os modelos a identificar quando estão especulando em vez de operar com certeza.

Fundada em 2021 pela professora do MIT Daniela Rus e pelos ex-associados de pesquisa Alexander Amini e Elaheh Ahmadi, a Themis AI criou uma plataforma que se integra a praticamente qualquer sistema de IA, sinalizando momentos de incerteza antes que resultem em erros.

Usando o Capsa, a IA aprende a reconhecer padrões em seu próprio processamento de dados que sugerem confusão, parcialidade ou lacunas nas informações - condições que geralmente levam a alucinações.

Desde o seu lançamento, a Themis relata ter ajudado empresas de telecomunicações a evitar erros dispendiosos de planejamento de rede, auxiliando empresas de petróleo e gás a interpretar dados sísmicos complexos e publicando pesquisas sobre a criação de chatbots que evitam inventar fatos com confiança.

Muitas pessoas ainda não sabem com que frequência os sistemas de IA estão essencialmente fazendo suposições educadas. À medida que esses sistemas assumem funções mais vitais, essas suposições podem ter consequências significativas. A IA da Themis apresenta um elemento que está faltando: a autoconsciência.

O caminho da Themis AI para lidar com as alucinações da IA

A jornada para a Themis AI começou anos atrás no laboratório do professor Rus no MIT, onde os pesquisadores exploraram uma questão central: Como uma máquina pode ter consciência de suas próprias limitações?

Em 2018, a Toyota financiou o trabalho deles em IA confiável para veículos autônomos - um setor em que os erros podem ser fatais. O desafio é especialmente crítico quando os carros autônomos precisam detectar com precisão os pedestres e os perigos da estrada.

A descoberta veio com um algoritmo capaz de identificar preconceitos raciais e de gênero em sistemas de reconhecimento facial. Em vez de apenas detectar o preconceito, o sistema corrigiu-o reequilibrando os dados de treinamento - ensinando efetivamente a IA a superar seus próprios preconceitos.

Em 2021, a equipe demonstrou como esse método poderia transformar a descoberta de medicamentos. Os sistemas de IA poderiam avaliar possíveis medicamentos e, ao mesmo tempo, destacar quando as previsões eram baseadas em dados sólidos em vez de especulações ou alucinações totais. As empresas farmacêuticas perceberam o valor de buscar apenas candidatos a medicamentos nos quais a IA estava confiante, economizando tempo e recursos.

Outro benefício se aplica a dispositivos com capacidade de computação limitada. Os dispositivos de borda geralmente dependem de modelos menores que não conseguem igualar a precisão dos sistemas baseados em servidor. A tecnologia da Themis ajuda esses modelos locais a lidar com a maioria das tarefas de forma independente, buscando o suporte do servidor somente quando encontram algo difícil.

A IA oferece um imenso potencial para melhorar nossas vidas, mas isso vem acompanhado de riscos reais. À medida que a IA se incorpora à infraestrutura crítica e à tomada de decisões, a capacidade de reconhecer a incerteza - e evitar alucinações - pode se revelar sua característica mais humana e valiosa. A Themis AI está ajudando os modelos a aprender essa habilidade essencial.

Veja também: Gerenciamento de diabetes: IBM e Roche usam IA para prever os níveis de açúcar no sangue

Quer saber mais sobre IA e Big Data com os líderes do setor? Confira a AI & Big Data Expo, que será realizada em Amsterdã, Califórnia e Londres. O evento abrangente é co-localizado com outros eventos importantes, incluindo Intelligent Automation Conference, BlockX, Digital Transformation Week e Cyber Security & Cloud Expo.

Explore outros eventos de tecnologia corporativa e webinars futuros realizados pela TechForge aqui.