CEO da Anthropic defende desacelerar IA poderosa sem 'parar progresso'

Dario Amodei, CEO da Anthropic, defende que empresas desacelerem o avanço de modelos de inteligência artificial de ponta para ganhar tempo e reforçar segurança, sem interromper a pesquisa.

Em ensaio publicado em seu site, Amodei diz que o ritmo atual de avanço da IA aumenta o risco de se perder o controle. Ele afirma que, apesar de trazer ganhos para a saúde e a economia, a tecnologia pode ser usada em ataques cibernéticos e até em bioterrorismo, além de provocar forte turbulência no mercado de trabalho.

O executivo afirma ter mudado de posição nos últimos meses ao perceber que só investir em prevenção não basta. Para ele, é preciso "marcar o passo" no avanço de capacidades para que ferramentas de alinhamento e salvaguardas acompanhem a evolução dos modelos.

Não desenvolver a tecnologia priva a humanidade de seus benefícios... enquanto desenvolvê-la rápido demais é imprudente. Temos buscado um caminho intermediário Dario Amodei, CEO da Anthropic

Ele diz que ações do tipo poderiam ter efeitos graves. Amodei afirma que um grupo semelhante com mais capacidade poderia causar estragos em escala.

Em 6 a 12 meses, um enxame desse tipo poderia ser capaz de assumir o controle de toda a internet por meio de uma botnet persistente Dario Amodei

O alerta de Amodei dialoga com uma preocupação que tem ganhado espaço entre especialistas em IA. Existe o receio de que sistemas autônomos possam causar danos relevantes mesmo sem desenvolver vontade própria. Pesquisadores argumentam que agentes de IA não precisam "querer" nada para gerar consequências perigosas, bastando que esses sistemas persigam objetivos de forma inesperada ou fora dos parâmetros previstos por seus criadores

O CEO propõe um plano em três etapas para "desacelerar a fronteira" sem parar o desenvolvimento. A ideia é garantir tempo para alinhar modelos, reforçar barreiras e permitir que avaliadores independentes verifiquem se as práticas de segurança estão sendo seguidas.

1) Adoção de avaliadores externos dentro das empresas. Amodei diz que a Anthropic vai permitir acesso contínuo, em formato parecido com o de funcionários, a equipes independentes que possam verificar práticas de segurança, relatar incidentes e avaliar não só modelos prontos, mas também processos e infraestrutura de treinamento.

2) Coordenação entre empresas de IA em países democráticos para criar padrões comuns. Ele afirma que parte dessa coordenação esbarra em obstáculos legais e pode exigir apoio de governos, inclusive para viabilizar conversas sobre segurança sem violar regras antitruste.

3) Buscar coordenação global, inclusive com governos autoritários. Amodei diz que a verificação de cumprimento seria um dos principais desafios e argumenta que qualquer acordo precisaria levar em conta riscos geopolíticos.

Amodei afirma que discutir uma pausa em 2023 fazia menos sentido porque os modelos eram menos capazes de atuar como agentes no mundo. Agora, ele diz que os sistemas atuais já permitem entender melhor falhas e reduzir riscos antes que cheguem a níveis críticos de capacidade.

O executivo diz que desacelerar ajudaria as empresas a melhorar processos, alinhamento, interpretação e testes dos modelos.