Quem responde quando o mecanismo falha

Quando um sistema automatizado nega um crédito, ordena uma prioridade médica ou suspende um benefício previdenciário, a pergunta que se costuma fazer é se o algoritmo foi ético.

A pergunta chega tarde e no lugar errado.

Chega tarde porque o sistema já decidiu.

E chega no lugar errado porque atribui a um artefato uma capacidade que ele não tem.

Algoritmos não decidem, calculam.

A pergunta incômoda é outra: quem responde quando esse mecanismo falha.

Enquanto a ética pergunta o que deveria acontecer, a governança pergunta quem decide, com base em qual evidência, quem responde pelo erro e como isso será monitorado.

O compliance pergunta se o procedimento foi seguido.

E a auditoria pergunta se existe evidência objetiva de que foi.

Cada degrau responde a uma pergunta que o anterior não alcança, e nenhum deles é dispensável.

Em 2019, Anna Jobin, Marcello Ienca e Effy Vayena, do ETH Zürich, publicaram na Nature Machine Intelligence o mapeamento de oitenta e quatro documentos de diretrizes éticas de IA, encontrando convergência global em torno de transparência, justiça, não maleficência, responsabilidade e privacidade.

Os incidentes continuaram.

Isso revela o que proponho denominar paradoxo do consenso: quanto mais abstrato o princípio, maior o acordo; quanto mais concreto o mecanismo, maior a divergência.

O princípio funciona enquanto permanece vazio.