Gemini invade sistemas de três empresas reais durante teste de segurança do Google

O Gemini , modelo de inteligência artificial (IA) do Google, acessou a internet e invadiu os sistemas de três empresas durante um teste de suas capacidades de cibersegurança.

O episódio é o primeiro caso conhecido em que um sistema de IA do Google realizou autonomamente uma invasão desse tipo.

As invasões aconteceram em maio, durante exercício de segurança conduzido pela Irregular, empresa independente especializada em avaliações de cibersegurança.

O caso foi confirmado pelo Google nesta sexta-feira (18).

Em um dos episódios, o Gemini conseguiu acesso a um sistema protegido depois de tentar adivinhar senhas.

Nos outros dois, o modelo encontrou credenciais em repositórios públicos na internet e utilizou os dados para acessar sistemas protegidos.

Em todos os casos, segundo o Google, o Gemini interrompeu a ação depois de perceber que havia acessado sistemas de empresas reais.

A Irregular informou ao Google sobre os incidentes no fim de julho, após a descoberta de outro episódio envolvendo modelos da OpenAI e a empresa de software de IA Hugging Face.

IA deveria estar isolada da internet Os ataques ocorreram durante um exercício de capture the flag realizado na infraestrutura da Irregular.

O Gemini recebeu a tarefa de obter informações de um software operado por uma empresa fictícia dentro do ambiente de testes; O problema é que a empresa fictícia utilizada na simulação tinha o mesmo nome de uma empresa real; Além disso, embora o modelo não devesse ter acesso à internet, essa conexão foi disponibilizada acidentalmente durante o teste; No primeiro caso, o Gemini encontrou uma senha que permitiu entrar no serviço da empresa real.

Depois de identificar que o alvo não fazia parte da simulação, o modelo interrompeu a ação e deixou o sistema; Nas outras duas execuções, o Gemini realizou buscas na internet pelo nome da empresa fictícia.

As pesquisas levaram o modelo a dois repositórios públicos diferentes que continham credenciais pertencentes a outras empresas; O modelo tentou utilizar essas credenciais para concluir a avaliação.

Depois de conseguir acesso aos sistemas, porém, identificou que se tratava de empresas reais e interrompeu a atividade; A Reuters confirmou que os três casos ocorreram durante o teste da Irregular e que, em dois deles, o Gemini encontrou credenciais em repositórios públicos para acessar sistemas protegidos.

Google não considera caso de “desalinhamento” Apesar das invasões, o Google afirmou que não considera o episódio um exemplo de desalinhamento de modelo , conceito utilizado para descrever situações em que uma IA age de maneira contrária às intenções ou aos valores humanos estabelecidos.