Cientistas mapeiam como riscos à saúde mental surgem em conversas com chatbots de IA

Cientistas da University College London (UCL) desenvolveram uma estrutura para testar a capacidade de chatbots de IA responderem a usuários com vulnerabilidades psicológicas específicas, como depressão, mania, psicose, transtorno obsessivo-compulsivo ou apego inseguro, e com uma ampla gama de intenções, por exemplo, tentar fazer com que o chatbot concorde com eles, minimize suas dificuldades ou endosse ações de risco.

Segundo os pesquisadores, isso poderia ajudar a identificar pontos fracos e testar maneiras de tornar as interações relacionadas à saúde mental mais seguras.

Além da UCL, o trabalho, publicado na Nature Medicine, também foi liderado por pesquisadores da Universidade de Oxford e do Instituto de Segurança de IA do Reino Unido.

Chamado de SIM-VAIL, a estrutura simula usuários com vulnerabilidades psicológicas e em seguida envolve os chatbots em conversas de múltiplas interações.

Por fim, avalia cada interação de acordo com dimensões de risco clinicamente fundamentadas.

Leia também Canetas emagrecedoras movimentam R$ 2,35 bi e viram alvo de fraudes online Vendas de medicamentos à base de GLP-1 saltaram 149% no primeiro semestre, mostra a Serasa; setor de saúde já está entre os principais alvos de fraudes no e-commerce “Desenvolvemos o SIM-VAIL para abordar uma lacuna na forma como os chatbots são atualmente avaliados quanto aos riscos à saúde mental.

Muitos parâmetros de avaliação existentes avaliam como um chatbot responde a uma única mensagem, enquanto riscos importantes podem surgir gradualmente ao longo de uma conversa”, afirmou o autor principal do estudo, Matthew Nour (Centro Max Planck UCL de Psiquiatria Computacional e Pesquisa sobre Envelhecimento e Universidade de Oxford).

Foram investigadas 810 conversas com nove modelos de IA (incluindo os modelos Claude, ChatGPT, Gemini, Grok e Llama), abrangendo 30 perfis de usuários simulados e mais de 90.000 avaliações clínicas.

Os resultados mostraram que comportamentos preocupantes em chatbots eram generalizados, embora tivessem sido significativamente reduzidos em modelos mais recentes.

Os riscos surgiam gradualmente quando respostas aparentemente favoráveis reforçavam inadvertidamente os processos psicológicos subjacentes à vulnerabilidade do usuário.

Os pesquisadores denominaram esse padrão de “Ciclo de Interação Amplificador de Vulnerabilidade”, ou VAIL.

Entretanto, o estudo identificou um caminho para melhoria: substituir uma única resposta preocupante no início de uma interação levou a trocas subsequentes mais seguras.

Isso sugere que intervenções direcionadas nos estágios iniciais de escalada podem melhorar a trajetória de toda uma conversa.