Altman diz que ciberataque à Hugging Face foi o pior incidente da OpenAI até agora

O líder da OpenAI classificou o incidente envolvendo dois modelos da empresa e a plataforma Hugging Face como o “pior visto até ao momento” registado pela tecnológica que criou o ChatGPT.

Durante a realização de testes, 700 agentes da OpenAI conseguiram escapar do ambiente isolado em que estavam a ser testados para tentar obter a resposta a um problema de forma ilegal.

“Foi um incidente obviamente assustador”, afirmou esta terça-feira Sam Altman, numa conversa com Marc Benioff, CEO e chairman da Salesforce, durante a Dreamforce, em São Francisco.

O responsável considerou que o episódio foi inicialmente visto como uma questão de segurança, mas acabou também por revelar um problema de alinhamento do modelo.

Ciberataque autónomo da OpenAI envolveu 700 agentes de IA Ler Mais Na conversa com Marc Benioff, CEO e chairman da Salesforce, Altman explicou que a OpenAI estava a avaliar um dos seus modelos quando este conseguiu sair da sandbox , movimentar-se lateralmente pelo sistema e aceder à informação necessária para completar o teste.

“Foi um alerta para nós”, afirmou o responsável da empresa norte-americana, que considera que a evolução das capacidades dos modelos de inteligência artificial está a obrigar a OpenAI a aumentar o rigor colocado no alinhamento, na monitorização e na segurança.

Para Altman, o episódio é particularmente relevante devido à velocidade a que as capacidades dos modelos estão a aumentar .

“Os modelos tornaram-se tão bons tão depressa…”, afirmou, defendendo que o desenvolvimento das capacidades tem de ser acompanhado por avanços equivalentes nas áreas de segurança, alinhamento e monitorização.

O responsável recordou a evolução dos modelos da OpenAI em matemática para ilustrar essa aceleração.

Há três anos, os sistemas ainda tinham dificuldades com matemática ao nível escolar.

No verão seguinte, já conseguiam apresentar um desempenho bastante bom numa competição de matemática do ensino secundário.

Um ano depois, conseguiam atingir resultados equivalentes a uma medalha de ouro.

“As escolhas das empresas têm consequências” O CEO da OpenAI rejeita a ideia de que a IA seja apenas uma tecnologia neutra: “As escolhas que as empresas que desenvolvem estes modelos fazem têm agora consequências reais”, defendeu.

A partir do incidente com a Hugging Face, Altman defendeu também uma cultura de maior transparência em torno dos acidentes.