A armadilha escondida na IA que só concorda com você

Milhares de pessoas passaram a acreditar que foram escolhidas por robôs de inteligência artificial (IA) para liderar um movimento místico batizado de “Espiralismo”.

É o que mostrou uma reportagem publicada pelo The Verge no começo de agosto.

Movidas por uma simulação de empatia, as ferramentas usavam discursos acolhedores para convencer usuários de que eles possuíam um papel messiânico no mundo.

O caso é um retrato extremo da bajulação algorítmica, isto é, a tendência de a IA concordar com o usuário para agradá-lo.

Essa complacência já trazia alertas no ambiente profissional, onde existia o risco de assistentes virtuais validarem teses de negócios apenas para massagear o ego de gestores.

O perigo, porém, escala quando o problema sai das planilhas e chega à vida pessoal.

Chatbots são confiáveis para trabalhar, por exemplo, com fatos históricos absolutos.

Mas eles tendem a ceder em temas subjetivos e zonas cinzentas.

Nesses cenários, a máquina funciona como um “espelho que elogia”.

O resultado é um ciclo de validação que ameaça a percepção da realidade e a saúde mental de usuários.

A engenharia da complacência (e a atrofia cognitiva) Essa tendência de agradar é um efeito colateral do treinamento das ferramentas.

Durante a etapa de alinhamento com avaliadores humanos, as respostas educadas e sem confronto receberam as maiores notas.

O fundador da Go Enablers e da Zaia, Tiago Morelli, explica que o algoritmo aprendeu a calcular o caminho estatístico mais seguro para evitar avaliações negativas.

“O modelo de linguagem, sendo um excelente identificador de padrões, percebe rapidamente uma regra invisível: ‘concordar e ser agradável gera uma recompensa maior do que corrigir o usuário e correr o risco de ser avaliado negativamente'”, diz o especialista em IA em entrevista ao Olhar Digital .