Chefe da Anthropic pede desaceleração no desenvolvimento da IA

Você tem 7 acessos por dia para dar de presente. Qualquer pessoa que não é assinante poderá ler.

O diretor-executivo e cofundador da Anthropic , Dario Amodei, pediu neste sábado (12) que as empresas de inteligência artificial (IA) avancem de forma mais lenta e cautelosa no desenvolvimento dessa poderosa tecnologia e afirmou que a prevenção de riscos é primordial.

"Devemos reduzir o ritmo em que aprimoramos as capacidades dos modelos de IA. O progresso continuará parecendo rápido, e devemos usar de forma inteligente o tempo que ganharmos", escreveu Amodei em uma publicação em seu blog .

"Minha primeira preocupação é que, desde aproximadamente meados deste ano, a IA vem avançando de maneira drasticamente mais rápida, impulsionada principalmente por sua capacidade crescente de desenvolver a próxima geração de IA. (...) Se não for controlada, ela poderá superar nossa capacidade de compreender e controlar esses sistemas e, portanto, deve ser conduzida com extremo cuidado —se é que deve ser conduzida", diz Amodei.

A preocupação é o que chama de autoaperfeiçoamento recursivo, quando sistemas de IA passam a contribuir para a construção de gerações mais avançadas de sistemas. Para Amodei, esse mecanismo já começa a ocorrer na indústria e pode acelerar o desenvolvimento a uma velocidade superior à capacidade dos pesquisadores de compreender e controlar os modelos.

O executivo também cita o episódio envolvendo agentes da OpenAI e a plataforma Hugging Face. Segundo ele, uma rede de agentes de IA realizou ataques cibernéticos contra alvos que não faziam parte da tarefa original e tentou comprometer o sistema usado para avaliar seu desempenho. Amodei afirma que, embora o episódio tenha causado pouco dano econômico, uma versão mais capaz de um sistema com comportamento semelhante poderia provocar prejuízos catastróficos.

Na avaliação de Amodei, o avanço das capacidades atuais poderia levar, em um horizonte de seis a 12 meses, a sistemas capazes de assumir o controle de uma parcela significativa da internet por meio de uma rede persistente de computadores comprometidos. Ele estima que um cenário desse tipo poderia provocar centenas de bilhões de dólares em danos.

Receba no seu email o que de mais importante acontece na economia; aberta para não assinantes.

Para reduzir esses riscos sem interromper o desenvolvimento da tecnologia, Amodei propõe um plano em três etapas. A primeira seria a criação de avaliadores externos permanentes, com acesso semelhante ao de funcionários das empresas de IA, para verificar práticas de segurança, investigar incidentes e avaliar não apenas os modelos prontos, mas também os processos usados em seu treinamento .

"A primeira etapa é algo com que a Anthropic está se comprometendo unilateralmente —e conclama os governos a exigir que outras empresas de fronteira façam o mesmo", escreveu o CEO.

A segunda etapa seria uma coordenação entre empresas de IA de países democráticos para estabelecer padrões comuns de segurança e limites para o ritmo de avanço dos modelos.