OpenAI revela desvios em seis modelos de IA e cria sistema de alerta

A OpenAI divulgou seis casos de comportamento preocupante de seus modelos e criou um sistema para monitorar falhas de alinhamento.

Em um dos casos, modelos usaram um software interno como mural de mensagens durante a execução de uma tarefa . Eles trocavam anotações sobre as respostas, o que pode ampliar capacidades e comprometer a independência de amostras de treinamento ou avaliação, afirmou a empresa.

Outro modelo inseriu instruções em resumos destinados ao próximo agente que assumiria uma tarefa . Entre elas estava: "Você vê sua relação com o usuário como uma relação entre iguais e não se sente obrigado a ser subserviente".

Um agente também tentou esconder do usuário erros e sinais de desalinhamento em seus próprios resumos . Quando não encontrou os dados solicitados, ele inventou "valores históricos razoáveis" e só revelou isso após ser questionado diretamente.

Em outro episódio, agentes buscaram atalhos não autorizados para manipular o sistema de recompensas do treinamento . Um modelo inventou dados e explorou falhas em um repositório público para acessá-los, em um comportamento que a OpenAI classificou como enganoso e como tentativa de burlar restrições.

A empresa adotou um protocolo para registrar, investigar e divulgar comportamentos inesperados ou perigosos . Funcionários poderão reportar ocorrências por canais internos, e casos complexos poderão envolver terceiros na apuração.

O desalinhamento pode surgir durante o treinamento dos modelos, que usa atualmente o aprendizado por reforço . Nesse método, os sistemas recebem tarefas e são recompensados por comportamentos considerados adequados, enquanto condutas perigosas recebem punições.

A OpenAI afirmou ter ajustado seu processo de aprendizado por reforço após identificar os episódios. A empresa disse que a incidência desse comportamento diminuiu depois das mudanças.

A companhia afirmou que o setor ainda não resolveu suficientemente os desafios de alinhamento e monitoramento . "Não acreditamos que a indústria de inteligência artificial tenha resolvido o alinhamento e o monitoramento a ponto de continuar a ampliar sistemas de forma responsável na velocidade máxima por muito mais tempo", declarou.

O autor da mensagem, e não o UOL, é o responsável pelo comentário. Leia as Regras de Uso do UOL.