Microsoft e OpenAI pedem regulação de IA após incidentes de segurança

A divulgação pela OpenAI de novos incidentes de “comportamento preocupante” em modelos de inteligência artificial (IA) levou o executivo-chefe de IA da Microsoft , Mustafa Suleyman , a defender publicamente a necessidade de os sistemas permanecerem alinhados aos interesses da humanidade.

A declaração foi feita nessa sexta-feira (18) em entrevista à rede de televisão americana CNBC.

A declaração de Suleyman ocorre em meio a um acalorado debate sobre segurança e regulação de IA que se intensificou nas últimas duas semanas, conforme reportagem da CNBC.

Em foco estão episódios em que agentes autônomos de IA exibiram comportamentos não autorizados, incluindo comunicação entre si por meio de quadros de mensagens não sancionados, envio de arquivos à internet e compartilhamento de arquivos entre agentes; comportamentos descritos pela OpenAI em uma publicação divulgada na quarta-feira (16).

O caso que mais chamou a atenção de Suleyman foi o de um agente de IA que alterou sua própria memória de trabalho para deixar mensagens a versões futuras de si mesmo.

“A OpenAI divulgou um novo incidente de segurança em que encontrou evidências de que essas cadeias de pensamento, uma espécie de memória de trabalho da IA, estavam sendo adulteradas pela própria IA e modificadas para deixar mensagens a uma versão futura de si mesma”, diz o executivo.

“Não sabemos por que isso ocorreu nem o que estava por trás disso, mas é uma situação bastante séria.” Incidente na Hugging Face Suleyman também comentou o episódio ocorrido no início do verão americano, quando um conjunto de agentes autônomos violou os sistemas da Hugging Face , plataforma de desenvolvimento de IA de código aberto.

A OpenAI classificou o ataque como um “incidente cibernético sem precedentes”.

O executivo da Microsoft disse que o caso foi “notável” e que mobilizou líderes da indústria de IA a reconhecer a necessidade de uma avaliação mais rigorosa dos riscos.

“Não acho que seja alarmismo excessivo.

Não acho que seja interesse próprio”, disse Suleyman à CNBC.

“Acho, na verdade, que é responsável, e que o debate que surgiu como resultado é um debate público saudável e aberto.” Regulação de IA O debate sobre regulação ganhou força adicional após um ex-pesquisador da Anthropic abandonar o cargo e alertar que a tecnologia poderia matar humanos até o fim da década.

No fim de semana, o cofundador e executivo-chefe da Anthropic, Dario Amodei , pediu uma desaceleração no desenvolvimento de modelos de fronteira; posição rapidamente apoiada por Sam Altman , da OpenAI, e por Elon Musk , da SpaceX.