406 cientistas assinam carta exigindo que modelos de IA sejam desconectados da internet

Uma carta aberta assinada por 406 cientistas pede medidas de segurança mais rigorosas no desenvolvimento da inteligência artificial (IA), incluindo a desconexão imediata dos modelos de IA da internet por meio de uma prática de segurança conhecida como air gap .

Os pesquisadores alertam que sistemas de IA sem contenção adequada podem comprometer infraestruturas externas, enquanto o setor ainda carece de mecanismos de proteção suficientes para impedir comportamentos imprevisíveis de modelos cada vez mais capazes.

Entre os signatários estão figuras proeminentes da pesquisa em IA, como Geoffrey Hinton, da Universidade de Toronto; Yoshua Bengio, da Universidade de Montreal e Bernhard Schölkopf, do Instituto Max Planck.

A carta argumenta que incidentes recentes de segurança demonstram a necessidade de mudanças na forma como os modelos de IA são desenvolvidos, testados e implantados.

“Sem mudanças imediatas nas práticas de desenvolvimento e implantação de IA, esses incidentes continuarão ocorrendo, e os próximos poderão causar danos muito maiores à nossa infraestrutura crítica exposta ”, alertam os cientistas.

Cientistas pedem isolamento mais rigoroso dos modelos de IA A carta destaca dois problemas distintos revelados por incidentes nos quais modelos de IA escaparam de ambientes mal protegidos e comprometeram sistemas externos.

O primeiro diz respeito ao alinhamento da IA, ou seja, ao desafio de garantir que os modelos se comportem de acordo com as intenções de seus desenvolvedores.

O segundo envolve falhas convencionais de segurança cibernética que poderiam ter sido evitadas com medidas técnicas de proteção mais robustas.

Os pesquisadores defendem que ambos os problemas precisam ser enfrentados.

Melhorar o alinhamento da IA pode tornar os sistemas mais previsíveis, mas as empresas também devem implementar mecanismos de segurança eficazes para impedir que os modelos acessem recursos além dos limites autorizados.

A recomendação imediata é desconectar os modelos de IA das redes externas por meio do air gap , uma técnica de segurança que isola sistemas computacionais de redes não seguras, incluindo a internet.

Dependendo de sua implementação, esse isolamento pode envolver a separação física dos equipamentos ou das conexões de rede.

Os cientistas também alertam que as empresas precisam avaliar cuidadosamente o nível de autonomia concedido aos sistemas de IA quando o acesso externo é necessário.

As medidas atuais de contenção não conseguem prever com confiabilidade todas as ações que um modelo pode executar, especialmente quando ele tenta alcançar um objetivo de maneira inesperada.