Discord assume falha de IA, mas diz que derrubou live antes de suicídio

A Discord admite que seu sistema de moderação com inteligência artificial falhou ao não identificar e derrubar a transmissão em que uma adolescente de 13 anos cometeu suicídio , mesmo com indicativos de risco reconhecidos pela empresa. No entanto, a companhia afirma que, após investigação interna, detectou evidências de que a live foi derrubada antes da morte da garota.

Os sinais de atividade de conta demonstram atividade na conta da vítima de suicídio pouco antes de o servidor ser objeto de medida às 4h15, o que é consistente com a vítima provavelmente ainda estar viva naquele momento. Com base nessas informações, a Discord entende que o evento final ocorreu após a Discord ter adotado a medida de remoção do servidor às 4h15 Discord

A informação está na resposta à ANPD (Agência Nacional de Proteção de Dados), dada nesta sexta (14) após a entidade abrir processo que pode resultar em punições à plataforma , incluindo multa de R$ 50 milhões ao banimento do Brasil, e já ter proibido as lives da plataforma . O documento revela mais detalhes da visão que a companhia norte-americana diz ter do caso, algo que começou a ser conhecido em outro ofício, mandado dias antes ao Ministério da Justiça. A Discord pediu para os dois relatórios não serem disponibilizados ao público. Após ter acesso a eles, Radar Big Tech lista o que a companhia relatou às autoridades.

O Discord entrou na mira de uma operação conduzida pelas polícias de Mato Grosso do Sul, Rio de Janeiro, Minas Gerais, Pará e Ceará, além do Ciberlab, do MJ, após uma menina de 13 se suicidar em transmissão em vídeo feita na plataforma. Questionado pela pasta, a companhia disse o seguinte:

1) A partir de março de 2026, as comunicações em áudio e vídeo dos canais passaram a ser criptografadas de ponta a ponta. Ou seja, são embaralhadas no dispositivo de quem as transmite e só desembaralhadas no aparelho de quem as recebe. Isso impede o Discord de ter acesso direto ao conteúdo das comunicações enquanto as lives ocorrem;

2) Desde 2025, o Discord se apoia em uma inteligência artificial —um modelo de aprendizado de máquina, para os entendidos— para identificar servidores associados a comunidades de alto risco, restringir canais de voz e vídeo e interromper chamadas ativas enquanto equipes fazem revisões adicionais;

Durante o período relevante, o servidor continha nomes, rótulos de papéis e comunicações em texto que, após a revisão posterior ao incidente, foram identificados como indicadores associados a um ecossistema mais amplo de alto dano (...) esses sinais não acionaram, de forma isolada ou combinada, aplicação automatizada ou revisão humana imediata (...) Os registros internos da Discord mostram que o Servidor recebeu uma pontuação de risco de 0,12, ao passo que o limiar aplicável para identificação automatizada era de 0,95 Discord

Nos dois relatórios, a Discord argumenta que relatar o que descobriu não é "reconhecimento de falha sistêmica, nexo causal ou responsabilidade jurídica".