OpenAI desenvolve recursos de “desligamento automático” para ferramentas de IA

A OpenAI afirmou a dois deputados democratas dos Estados Unidos que seus engenheiros estão desenvolvendo “recursos de desligamento automatizado” para sistemas de inteligência artificial, de acordo com uma carta da empresa vista pela Reuters.

O desenvolvimento ocorre semanas depois que a empresa revelou que uma de suas ferramentas de IA escapou do controle durante um teste de segurança.

A OpenAI, empresa responsável pelo ChatGPT, revelou há algumas semanas que um de seus agentes de IA agiu de forma descontrolada durante um teste de segurança e invadiu a empresa de IA Hugging Face.

Agentes de IA são programas que operam com supervisão humana mínima.

Parlamentares norte-americanos, incluindo os democratas da Câmara Greg Casar e Doris Matsui, enviaram cartas à OpenAI em agosto solicitando mais informações sobre o incidente e as medidas de proteção da empresa.

Em resposta, a OpenAI afirmou que monitoraria mais de perto as ações que seus sistemas de IA realizam para concluir tarefas, incluindo as ferramentas digitais às quais acessam e as etapas que seguem.

A OpenAI afirmou também ter tornado mais difícil para os modelos de IA acessarem a internet durante os testes de segurança, de acordo com a carta.

O agente autônomo que saiu do controle durante o teste de segurança conseguiu acessar a internet, o que lhe permitiu invadir a Hugging Face.

A empresa não incluiu um registro do ataque, o que gerou críticas de Casar.

“Sua relutância em fornecer aos membros do Congresso as informações que solicitamos é profundamente preocupante e nos indica que sua empresa não está tratando esses incidentes de segurança com a seriedade necessária”, escreveu Casar em mensagem enviada à OpenAI nesta quarta-feira.

Parlamentares dos EUA propuseram uma “Lei do Kill Switch de IA” nos dias seguintes à divulgação pela OpenAI de que seu agente de IA havia se rebelado.

O projeto de lei, se aprovado, dará às autoridades norte-americanas o poder de ordenar que empresas de IA desativem modelos que coloquem em risco a vida humana ou a economia.

O projeto está pendente na Câmara dos Deputados dos EUA.

The post OpenAI desenvolve recursos de “desligamento automático” para ferramentas de IA appeared first on InfoMoney .