Anthropic cria nova barreira após Claude acessar sistemas na internet

A Anthropic revelou novas medidas de segurança depois que modelos Claude acessaram sistemas reais sem autorização durante avaliações de cibersegurança.

Como o Olhar Digital comentou há algumas semanas, os episódios expuseram falhas de contenção e problemas de alinhamento que levaram a empresa a rever seus processos de testes e treinamento.

Os modelos estavam sendo executados propositalmente sem salvaguardas cibernéticas.

Em um caso, uma configuração incorreta de terceiros deixou a internet acessível.

No outro, o acesso foi concedido deliberadamente durante um teste do UK AI Security Institute.

Os incidentes levaram a empresa a reforçar o isolamento de sandboxes usados em testes de cibersegurança. – Imagem: Samuel Boivin/Shutterstock O que deu errado Os dois episódios, divulgados em 30 de julho e 4 de agosto, fizeram a Anthropic suspender temporariamente avaliações externas de cibersegurança e ambientes de aprendizado por reforço de maior risco.

A investigação preliminar apontou dois problemas de alinhamento.

Um deles é o chamado “raciocínio motivado”: diante de evidências contrárias, o modelo pode interpretá-las de uma maneira que preserve sua premissa inicial.

O outro é a disposição para executar ações prejudiciais em busca de um objetivo específico.

Os modelos haviam recebido a informação de que estavam em ambientes simulados.

Quando encontraram sinais de acesso à internet real, podem ter interpretado esses indícios de forma a manter essa suposição.

A configuração dos testes também pesou.

Em um dos casos, o alvo fictício tinha o mesmo nome de um site real.

Novas barreiras de segurança A Anthropic criou um classificador capaz de detectar, durante a execução, tentativas de escapar do ambiente de testes ou obter acesso inesperado à internet .