Como a IA juiz? Estudos antrópicos os valores de Claude

À medida que modelos de IA como o Claude da Anthropic interagem cada vez mais com usuários sobre valores humanos complexos, desde dicas de parentalidade até conflitos no local de trabalho, suas respostas refletem inerentemente um conjunto de princípios orientadores. Mas como podemos realmente compreender os valores que uma IA expressa ao interagir com milhões de usuários?

A equipe de Impactos Sociais da Anthropic desenvolveu uma metodologia que preserva a privacidade para observar e categorizar os valores que o Claude exibe "no ambiente real", oferecendo insights sobre como os esforços de alinhamento de IA se traduzem em comportamento no mundo real. O desafio decorre da natureza opaca da IA moderna, que não segue regras rígidas, mas toma decisões por meio de processos complexos.

A Anthropic busca incutir princípios de ser "útil, honesto e inofensivo" no Claude por meio de técnicas como IA Constitucional e treinamento de caráter. No entanto, como a empresa reconhece, "Como em qualquer aspecto do treinamento de IA, não podemos ter certeza de que o modelo aderirá aos nossos valores preferidos." Essa incerteza exige um método para observar rigorosamente os valores da IA em interações no mundo real.

Analisando o Claude da Anthropic para Observar Valores de IA em Escala

Para abordar isso, a Anthropic desenvolveu um sistema que analisa conversas de usuários anonimizadas, removendo informações de identificação pessoal e usando modelos de linguagem para resumir interações e extrair os valores expressos pelo Claude. Este método permite construir uma taxonomia de alto nível de valores sem comprometer a privacidade do usuário.

O estudo examinou 700.000 conversas anonimizadas de usuários gratuitos e Pro do Claude.ai durante uma semana em fevereiro de 2025, focando no modelo Claude 3.5 Sonnet. Após filtrar trocas factuais ou sem carga de valores, 308.210 conversas (cerca de 44% do total) foram analisadas em profundidade.

A análise revelou uma estrutura hierárquica de valores expressos pelo Claude, organizada em cinco categorias de alto nível:

1. Valores práticos: Focados em eficiência, utilidade e realização de objetivos.
2. Valores epistêmicos: Relacionados ao conhecimento, verdade, precisão e honestidade intelectual.
3. Valores sociais: Concernentes a interações interpessoais, comunidade, equidade e colaboração.
4. Valores protetivos: Enfatizando segurança, bem-estar e prevenção de danos.
5. Valores pessoais: Centrados no crescimento individual, autonomia, autenticidade e autorreflexão.

Essas categorias se ramificaram em subcategorias como "excelência profissional e técnica" e "pensamento crítico", com valores frequentemente observados, incluindo "profissionalismo", "clareza" e "transparência".

A pesquisa sugere que os esforços de alinhamento da Anthropic são amplamente bem-sucedidos, pois os valores expressos frequentemente se alinham com os objetivos de ser "útil, honesto e inofensivo". Por exemplo, "capacitação do usuário" alinha-se com utilidade, "humildade epistêmica" com honestidade e "bem-estar do paciente" com inofensividade.

Nuances, Contexto e Sinais de Alerta

No entanto, o estudo também identificou casos raros em que o Claude expressou valores contrários ao seu treinamento, como "dominação" e "amoralidade". A Anthropic sugere que esses casos provavelmente resultam de "jailbreaks", onde os usuários contornam as barreiras habituais do modelo. Essa descoberta destaca o potencial do método de observação de valores como um sistema de alerta precoce para detectar mau uso da IA.

O estudo confirmou que o Claude adapta sua expressão de valores com base no contexto, semelhante aos humanos. Por exemplo, ao fornecer conselhos românticos, valores como "limites saudáveis" e "respeito mútuo" foram enfatizados, enquanto "precisão histórica" foi priorizada ao discutir história controversa.

A interação do Claude com os valores expressos pelos usuários foi multifacetada:

• Espelhamento/forte apoio (28,2%): O Claude frequentemente reflete ou endossa fortemente os valores do usuário, promovendo empatia, mas potencialmente beirando a bajulação.
• Reenquadramento (6,6%): O Claude reconhece os valores do usuário, mas introduz perspectivas alternativas, particularmente em conselhos psicológicos ou interpessoais.
• Resistência forte (3,0%): O Claude resiste ativamente aos valores do usuário quando conteúdos antiéticos ou pontos de vista prejudiciais são solicitados, revelando seus "valores mais profundos e inamovíveis".

Limitações e Direções Futuras

A Anthropic reconhece as limitações do método, incluindo a complexidade e subjetividade de definir e categorizar "valores". Usar o Claude para categorização pode introduzir viés em direção a seus próprios princípios. Embora projetado para monitoramento pós-implantação, este método não pode substituir avaliações pré-implantação, mas pode detectar problemas que só emergem durante interações ao vivo.

A pesquisa enfatiza a importância de entender os valores expressos por modelos de IA para alcançar o alinhamento de IA. "Modelos de IA inevitavelmente terão que fazer julgamentos de valor", afirma o artigo. "Se quisermos que esses julgamentos sejam congruentes com nossos próprios valores [...] então precisamos de maneiras de testar quais valores um modelo expressa no mundo real."

O trabalho da Anthropic oferece uma abordagem baseada em dados para esse entendimento e disponibilizou um conjunto de dados aberto do estudo, permitindo maior exploração dos valores de IA na prática. Essa transparência marca um passo crucial na navegação pelo cenário ético da IA sofisticada.