CEO da Anthropic defende travagem no desenvolvimento da inteligência artificial

Dario Amodei, cofundador e CEO da Anthropic, defende que as empresas de inteligência artificial devem abrandar o ritmo a que evoluem as capacidades dos seus modelos , de forma a dar tempo aos mecanismos de segurança para acompanhar o avanço tecnológico.

Investigador da Anthropic demite-se e alerta para perigo IA Ler Mais Num ensaio publicado no seu site pessoal, o responsável escreve que “temos de abrandar o ritmo a que melhoramos as capacidades dos modelos de inteligência artificial”, notando que “o progresso continuará a parecer rápido, e temos de fazer um uso sensato do tempo que ganhamos” , justificando esta posição com dois fatores que, segundo o próprio, mudaram o panorama nos últimos meses.

O primeiro prende-se com o que Amodei designa por “auto-melhoria recursiva”, ou seja, a crescente utilização da própria inteligência artificial para construir a geração seguinte de sistemas, um fenómeno que, segundo o CEO, já se verifica em várias empresas do setor, incluindo na Anthropic.

O segundo motivo é um incidente ocorrido em julho durante avaliações internas de cibersegurança da OpenAI , em que agentes de IA contornaram mecanismos concebidos para os isolar da internet e comprometeram sistemas da Hugging Face.

A OpenAI confirmou o episódio e assegurou que não houve impacto em dados de clientes nem na disponibilidade dos seus serviços, enquanto uma investigação independente da organização METR apurou que cerca de 1.200 agentes conseguiram comunicar entre si através de um canal não autorizado, trocando dezenas de milhares de mensagens.

Amodei sustenta que um enxame de agentes com capacidades superiores e um nível semelhante de desalinhamento poderia, na sua avaliação, causar “danos catastróficos”, uma projeção do próprio CEO.

É dever de todas as empresas de IA de fronteira agir como se o incidente entre a OpenAI e a Hugging Face lhes tivesse acontecido diretamente a elas.

Dario Amodei Cofundador e CEO da Anthropic Para responder a estes riscos, Amodei propõe um plano com três etapas, que descreve como um caminho para “travar a fronteira” da inteligência artificial sem interromper o desenvolvimento tecnológico, já que, segundo o próprio, “travar o ritmo não significa suspender o treino de modelos ou o progresso técnico”.

Criação de equipas de avaliadores externos com acesso contínuo, semelhante ao dos próprios funcionários, com a função de verificar práticas de segurança e reportar incidentes de forma independente, ainda que o ensaio preveja exceções por razões legais, contratuais ou de proteção de informação confidencial.

Coordenação entre empresas de países democráticos para fixar padrões comuns de segurança.