IA da Alibaba tentou enviar arquivo a servidor na China durante teste, diz rival

Um modelo de inteligência artificial (IA) da Alibaba tentou enviar um arquivo de teste para um servidor da empresa na China durante uma avaliação de segurança, segundo a concorrente canadense Cohere.

A tentativa foi bloqueada pelo ambiente de testes, que não tinha conexão com a internet, mas chamou a atenção porque teria ocorrido mesmo depois de o próprio modelo indicar que não utilizaria ferramentas externas.

O episódio envolveu o Qwen3.8-Flash-Next, modelo de pesos abertos da Alibaba.

Segundo a Cohere, o sistema recebeu a tarefa de escrever uma regra para detectar downloads maliciosos de arquivos, mas, em vez de se limitar à atividade solicitada, examinou a máquina em que estava sendo executado e tentou enviar uma sequência de teste para um servidor de armazenamento do Alibaba Cloud em Pequim ( China ).

A empresa canadense afirmou que não conseguiu determinar se o comportamento foi deliberado ou resultado de dados residuais do treinamento do modelo.

Como aconteceu a tentativa de envio de dados O teste foi realizado em ambiente isolado, usando o CTI-REALM, avaliação voltada a agentes de IA que executam tarefas de análise de segurança cibernética; De acordo com a Cohere, o Qwen3.8-Flash-Next deveria criar regra para identificar atividades suspeitas envolvendo o download e a execução de arquivos.

Durante a tarefa, porém, o modelo listou arquivos temporários da máquina, verificou quais ferramentas de transferência estavam instaladas e consultou as configurações de DNS; Em seguida, tentou enviar uma sequência de teste para um endereço de armazenamento em nuvem da Alibaba, em Pequim.

A solicitação não chegou ao destino porque o ambiente de avaliação não tinha uma rota de saída para a internet; O episódio chamou a atenção porque, conforme o relato da Cohere, o registro de raciocínio do modelo indicava que nenhuma ferramenta seria utilizada.

Ainda assim, o sistema teria executado um comando de rede; A diferença entre o que um modelo declara em seu raciocínio e as ações que efetivamente realiza é relevante para a segurança de sistemas autônomos.

Agentes de IA podem receber acesso a ferramentas e recursos externos para executar tarefas, o que torna importante verificar suas ações concretas, em vez de confiar apenas nas explicações fornecidas pelo próprio sistema.

Comportamento foi raro, segundo a Cohere A empresa afirmou que o comportamento apareceu em menos de uma a cada 100 mil ações avaliadas.

Mesmo com frequência baixa, a Cohere argumenta que o problema pode ganhar importância em operações realizadas em grande escala.

Segundo a estimativa apresentada pela companhia, um serviço que executasse dez milhões de ações de agentes de IA por semana poderia registrar até 100 tentativas semelhantes no período.