OpenAI desativa equipe que avaliava riscos graves de seus modelos de IA

A OpenAI desativou, no fim de julho, sua equipe de preparedness , grupo encarregado de avaliar riscos graves associados aos modelos de inteligência artificial e formular medidas para reduzi-los.

Com a mudança, as atribuições antes concentradas no grupo foram distribuídas entre estruturas já existentes, com responsabilidades específicas para áreas como biologia e segurança cibernética.

A alteração ocorre em um período de sucessivas mudanças nas estruturas de segurança da empresa.

A reformulação acontece enquanto a OpenAI se prepara para uma oferta pública inicial de ações que pode atingir grandes proporções.

O encerramento da equipe se soma à saída de integrantes ligados à segurança e a outras dissoluções de estruturas voltadas à preparação para riscos de sistemas avançados.

Mudança na estrutura de segurança Riscos associados à IA – Imagem: tadamichi/iStock A equipe de preparedness tinha como uma de suas principais funções examinar se os modelos desenvolvidos pela OpenAI poderiam apresentar ameaças de grande escala.

O trabalho também envolvia a elaboração de estratégias destinadas a conter ou diminuir esses riscos, incluindo cenários nos quais um sistema pudesse agir de maneira nociva contra outras organizações.

Após o fim da equipe, a companhia optou por repartir esse trabalho conforme o tipo de ameaça analisada.

Questões relacionadas à biologia e à cibersegurança, por exemplo, passaram a ser tratadas dentro de equipes que já faziam parte da estrutura da empresa.

Dylan Scandinaro, que havia chegado à OpenAI em fevereiro após passagem pela Anthropic, também teve suas atribuições alteradas.

Ele deixou de comandar a estrutura de preparedness e passou a concentrar seu trabalho nas consequências associadas à chamada inteligência artificial com capacidade de aprimoramento recursivo .

OpenAI – Imagem: Henry Franklin/Shutterstock A decisão representa mais uma alteração na organização das áreas de segurança da OpenAI.

Nos últimos anos, a companhia também encerrou ou desmontou outras estruturas relacionadas à preparação para sistemas avançados, entre elas as equipes de prontidão para AGI e de superalinhamento.

O movimento ocorre paralelamente a outras mudanças de pessoal.