Discord admite que havia indícios de risco no caso de morte de menina, mas que alerta interno não disparou

Você tem 7 acessos por dia para dar de presente. Qualquer pessoa que não é assinante poderá ler.

O Discord admitiu em documento enviado ao governo federal que havia indícios de risco na transmissão ao vivo que teria culminado na morte de uma menina , mas que isso não foi suficiente para disparar um alerta confiável no sistema interno da plataforma.

O texto, datado de 10 de agosto, é uma resposta a perguntas da Secretaria Nacional de Direitos Digitais, vinculada ao Ministério da Justiça. O órgão questionou a empresa sobre transmissão ao vivo realizada na plataforma em que uma menina de 13 anos teria sido induzida por outros adolescentes à automutilação e ao suicídio.

"Durante o período relevante, o servidor continha nomes, rótulos de papéis e comunicações em texto que, após a revisão posterior ao incidente, foram identificados como indicadores associados a um ecossistema mais amplo de alto dano. No momento do incidente, esses sinais não acionaram, de forma isolada ou combinada, aplicação automatizada ou revisão humana imediata", afirmou a empresa no documento, obtido pela Folha .

"Os sistemas de aprendizado de máquina processaram os sinais disponíveis, mas não geraram alerta com nível de confiança suficiente para aplicação automatizada", declarou o Discord. Em uma manifestação divulgada à imprensa, a companhia afirmou ter derrubado o servidor antes da morte da adolescente.

No documento, a empresa disse que seu sistema trabalha com uma pontuação de risco. A transmissão específica teria recebido pontuação de 0,12, enquanto o limitar para identificação automatizada é de 0,95.

O Discord afirmou que o resultado está sendo reexaminado e poderá servir para avaliar eventuais aprimoramentos na sensibilidade do sistema, buscando um equilíbrio entre a capacidade de detecção e a produção de falsos positivos.

No documento, a empresa afirma ter recebido uma comunicação de um órgão de segurança sem muitas informações às 3h50. E que, menos de 25 minutos depois, o servidor da transmissão foi removido.

Nota técnica da ANPD (Agência Nacional de Proteção de Dados) concluiu que o Discord não tem ferramentas que viabilizem mecanismos de análise de conteúdo e detecção de violações em tempo real. De acordo com o documento, a plataforma "depende de sistemas automatizados falhos e de denúncias pelos próprios participantes desses ambientes voltados à prática dessas violações".

"O caso relatado pela empresa, referente à Operação Lívia [sobre o caso da menina], evidencia falha grave no modelo implementado, uma vez que fato gravíssimo recebeu uma sinalização de risco erroneamente baixa porque o sistema automatizado de detecção não foi bem calibrado", afirma a nota técnica.

O documento também diz que a possibilidade de haver falsos positivos nas notificações de violação caso o sistema fique mais sensível não justifica a falha. "Quando estão em questão o risco iminente de lesão grave, automutilação ou morte de criança ou adolescente, o custo de um falso negativo é incomparavelmente superior ao custo de submeter determinado servidor a análise humana adicional", diz a nota técnica.

O caso da morte da menina foi em 22 de julho.