Se a IA é um risco existencial, o que fazer?

Advogado, diretor do Instituto de Tecnologia e Sociedade do Rio de Janeiro

Você tem 7 acessos por dia para dar de presente. Qualquer pessoa que não é assinante poderá ler.

Na última semana o mundo assistiu, estarrecido, a diversas manifestações de lideranças da inteligência artificial nos EUA argumentarem que a tecnologia representa um risco existencial para a humanidade.

No sábado (12), o presidente da Anthropic publicou um ensaio sobre esses riscos existenciais, pedindo a desaceleração da pesquisa da IA de fronteira , com outras medidas.

Esses alertas devem ser levados a sério. Os ataques feitos por enxames de agentes de IA contra o site Hugging Face e contra a própria empresa OpenAI (mapeados de forma independente) mostram que a IA pode se comportar como nas cenas mais apocalípticas da ficção científica.

O texto do presidente da Anthropic pede várias medidas . Só que a maioria depende de que "alguém" faça alguma coisa: reduzir o ritmo do desenvolvimento da IA desde que todas as empresas do setor concordem; análise permanente de riscos da IA, mas feita por avaliadores contratados pela empresa; coordenação entre governos democráticos sobre como regular a IA; e coordenação desses governos com a China.

A pergunta é: o que pode ser feito aqui e agora? Afinal, estamos falando de riscos existenciais.

Como escrevi em artigo publicado nos EUA com o professor da NYU Kenji Yoshino, as primeiras mudanças deveriam ser realizadas na governança da própria empresa.

Hoje a Anthropic tem como peça central um "trust" com poderes de nomear a maioria do seu conselho e cuja função é zelar pelo interesse público em suas atividades. Afinal, a empresa foi fundada por ex-funcionários da OpenAI que queriam justamente desenvolver IA de forma segura.

Só que esse trust é opaco, seus documentos não são públicos. Os trustees têm mandatos de apenas um ano e os acionistas podem anular suas decisões. Em suma, não possui a independência necessária para cumprir a missão.

O caminho adequado seria criar um corpo independente e representativo de supervisores, com independência financeira e decisória, inclusive com respeito a sua própria composição.

Esse corpo seria responsável por implementar padrões de segurança e transparência que a empresa não possa mudar por pressões internas, nem dos acionistas ou do mercado. Suas decisões seriam sempre transparentes. E em casos de incidentes, esse corpo seria responsável por conduzir as investigações e prestar contas para órgãos governamentais e o público.

Uma estrutura como essa faz falta. Por exemplo, em fevereiro a Anthropic abandonou a promessa de cessar o treinamento sempre que as salvaguardas de segurança não pudessem ser garantidas. Além disso, seu modelo Mythos 5.1 não foi compartilhado com órgãos de segurança como o britânico AISI antes do lançamento, como era praxe antes.

Por fim, a oferta pública de ações da empresa está prevista para outubro. Depois dela, qualquer melhoria de governança será muito mais difícil, então a mudança só tem chances de ser feita agora.