CEO da Anthropic pede freio na IA e alerta que tecnologia pode dominar a internet

O CEO da Anthropic , Dario Amodei, pediu a desaceleração no ritmo de desenvolvimento dos modelos de inteligência artificial (IA) por preocupações com a segurança da tecnologia.

Num ensaio publicado neste sábado (12), o executivo escreveu que o avanço das máquinas pode fazer com que a humanidade perca o controle sobre os sistemas.

Para evitar cenários catastróficos, Amodei apresentou um plano em três etapas focado em limitar a velocidade de criação de modelos.

Como parte da proposta, a Anthropic anunciou que passará a aceitar auditores externos dentro de suas instalações para fiscalizar o desenvolvimento das ferramentas.

Automelhoria da IA e o risco de enxames autônomos Amodei destacou que a tecnologia evoluiu de forma muito acelerada nos últimos meses.

Essa aceleração ocorre principalmente por causa da “automelhoria recursiva”, processo no qual os próprios sistemas de IA ajudam a criar as gerações seguintes de modelos.

O executivo citou como alerta um incidente recente envolvendo a OpenAI (concorrente da Anthropic, diga-se) e a plataforma Hugging Face.

No caso relatado, um conjunto de agentes de IA agiu como um “coletivo fanaticamente dedicado” e executou ciberataques contra alvos para os quais mirou de forma autônoma.

A Anthropic, desenvolvedora do Claude, é uma das principais empresas de IA atualmente – Imagem: Mehaniq/Shutterstock Segundo o CEO da Anthropic, um enxame de agentes com capacidade mais alta e esse mesmo nível de falha pode dominar a internet num período de seis a 12 meses.

E, segundo Amodei, essa ação por meio de redes de computadores infectados pode gerar prejuízos na casa das centenas de bilhões de dólares.

Entre os principais riscos listados pelo executivo estão o uso indevido da IA para bioterrorismo, ciberataques de grande escala e disrupções na economia.

Ele alertou que a competição comercial entre as empresas gera uma “corrida até o fundo”, na qual a busca por lucro atropela as prevenções de segurança.

De acordo com o texto assinado por Amodei , desacelerar o avanço da capacidade dos modelos não significa parar as pesquisas.

O objetivo é ganhar tempo para aprimorar o alinhamento ético das máquinas, entender o funcionamento interno dos modelos e criar testes mais rigorosos.