Chinesa Z.ai diz que novo modelo se aproxima do Mythos 5, da Anthropic

A Z.ai ​informou que o GLM-5.3 obteve 84,5% no CyberGym, um teste que avalia se um modelo é capaz de analisar código, identificar falhas de segurança e confirmar que elas são reais. Esse resultado foi ligeiramente superior aos 83,8% relatados para o Mythos 5. Os resultados ainda não foram verificados de forma independente.

O GLM-5.3 ficou atrás do Mythos ​5 na conversão de falhas descobertas em ataques ⁠efetivos — uma parte padrão da ​pesquisa de segurança defensiva. A Z.ai informou que seu modelo obteve 54,4% no teste ExploitBench para essa capacidade, ⁠contra 78,0% do Mythos 5.

Em um teste cronometrado separado, a Z.ai informou que o ​GLM-5.3 concluiu 105 tarefas de desenvolvimento de ataques em duas horas e 130 em seis horas. O Mythos 5 concluiu 181 e 247 tarefas, respectivamente.

A Anthropic disponibilizou o Mythos — uma versão de seu modelo Claude Fable 5 com as proteções de cibersegurança removidas — ‌exclusivamente para organizações previamente avaliadas. Esses controles refletem a preocupação ‌de que sistemas de IA ​capazes de identificar e explorar falhas de software possam auxiliar defensores, mas também possam reduzir barreiras para invasores.

A Z.ai informou que lançará o GLM-5.3 publicamente em cerca de duas semanas, após concluir as avaliações de segurança e reforçar suas proteções. Suas funções de segurança cibernética mais sensíveis estariam disponíveis apenas para usuários ‌verificados por meio de um programa de “acesso confiável”, afirmou a empresa.

Em uma postagem na rede social X nesta sexta-feira, a empresa escreveu que o acesso inicial ao modelo será compartilhado com um grupo seleto de parceiros de lançamento, que posteriormente será ampliado “por meio de um processo consistente e responsável”, ecoando a linguagem do esquema de acesso limitado “Project Glasswing” da Anthropic para o Mythos.

“Pelo que sei, esta é a primeira vez que um laboratório chinês justifica publicamente o adiamento do lançamento aberto dos pesos do modelo com base em considerações de segurança”, disse Gabriel Wagner, pesquisador de governança de IA da Concordia AI, uma consultoria com sede em Pequim focada em segurança de IA.

“Isso mostra que as práticas de gestão de risco relacionadas a pesos abertos na China estão se tornando mais sofisticadas.”

A empresa informou ter ‌adicionado várias camadas de proteção ao GLM-5.3, incluindo sistemas para filtrar solicitações de risco, monitorar o funcionamento do modelo e treiná-lo para rejeitar tarefas maliciosas.

Segundo a empresa, essas medidas foram projetadas para distinguir atividades prejudiciais de usos legítimos, como correção de bugs, ensino ​de segurança cibernética ou testes de segurança autorizados.

Mas os críticos afirmam que essas salvaguardas se tornam mais difíceis de aplicar assim que um modelo é lançado para que outras pessoas possam baixá-lo, alterá-lo ou combiná-lo com ferramentas externas.

A Z.ai apresentou o lançamento como um desafio ao modelo de acesso restrito representado pelo Mythos.