OpenAI propõe padrões para IA segura e controle de aprimoramento recursivo

A OpenAI propôs nesta segunda-feira (21) um conjunto de padrões globais para orientar o desenvolvimento seguro de inteligência artificial de fronteira, com foco em pesquisa de alinhamento e em uma técnica computacional conhecida como melhoria recursiva autônoma, ou RSI (do inglês recursive self-improvement ).

As propostas foram publicadas em um artigo no blog da empresa.

Segundo a CNBC, que publicou a reportagem, a OpenAI defende cooperação internacional para criar padrões técnicos voltados a modelos de IA de fronteira e recomenda aproveitar o trabalho já desenvolvido por institutos de segurança de IA ao redor do mundo.

A empresa diz que esses padrões devem incluir o gerenciamento de benefícios e riscos associados a pesquisadores de IA automatizados, categoria que engloba sistemas com capacidade de RSI.

O que é RSI e por que preocupa A técnica de RSI entusiasmou desenvolvedores de IA por seu potencial de criar modelos fundacionais capazes de se aprimorar sem intervenção humana.

No entanto, avanços nessa área levaram parte dos especialistas a temer que os criadores de modelos fundacionais percam o controle sobre a tecnologia subjacente, especialmente à medida que os sistemas se tornam mais complexos e onipresentes.

“RSI totalmente autônoma não está acontecendo hoje, e não devemos persegui-la a menos que, e até que, isso possa ser feito com segurança”, afirma o artigo da OpenAI.

“Sem o cuidado e a cautela adequados, a RSI poderia resultar em humanos perdendo o controle prático sobre o desenvolvimento de IA, incapazes de supervisionar processos de pesquisa que não compreendem mais”.

A publicação da OpenAI menciona o ataque ao agente da Hugging Face, um incidente que não envolveu RSI, como uma espécie de prévia dos tipos de riscos que poderiam se tornar muito mais graves sem salvaguardas robustas e alinhamento.

O debate sobre segurança em IA As propostas surgem em meio a um debate público intensificado.

Na semana anterior, a rival Anthropic divulgou suas próprias diretrizes para o desenvolvimento seguro de modelos de IA de fronteira, em resposta a uma sequência de alertas da indústria sobre os riscos da tecnologia.

O episódio ganhou repercussão global quando Jacob Coxon , pesquisador com passagem tanto pela Anthropic quanto pela OpenAI, anunciou sua demissão cerca de duas semanas antes e afirmou que as empresas estavam apostando com nossas vidas.

O pronunciamento acendeu um debate internacional.

Leia mais: “Não existe valor sem risco”, diz Gartner sobre retorno de investimento da IA Na sequência, o presidente-executivo da Anthropic, Dario Amodei , publicou um ensaio em que defendeu que as empresas de IA desacelerassem o ritmo de desenvolvimento de seus modelos fundacionais.