A IA precisa ser testada por quem pensa como um invasor

Sophia Shigueoka, Head de Cibersegurança da Core AI A decisão recente da Anthropic de contratar especialistas em áreas como cibersegurança, biologia, química, riscos nucleares e fraude para testar seus modelos de inteligência artificial revela uma mudança importante na forma como pensamos segurança em IA.

Antes de questionar se um modelo funciona como deveria, a ideia agora passa a ser a de tentar descobrir como ele pode funcionar de maneiras que seus desenvolvedores não imaginaram.

Essa é, em essência, a lógica do red teaming.

O conceito surgiu no ambiente militar, a partir da ideia de pensar e agir como um inimigo: se alguém quisesse atacar, como faria? E como poderíamos nos preparar para isso antes que o ataque acontecesse? Na cibersegurança, essa abordagem passou a ser incorporada aos processos de desenvolvimento de software, especialmente a partir dos anos 2000, como uma tentativa de levar a segurança para mais perto do início do desenvolvimento, e não apenas reagir depois de um incidente.

Com a inteligência artificial, o princípio é o mesmo, mas a complexidade aumenta.

Um red teaming de IA tenta assumir o papel de um invasor para descobrir maneiras de ultrapassar os guardrails estabelecidos pelos desenvolvedores.

Testa comandos de diferentes formas, combina instruções, explora respostas inesperadas e, a partir do comportamento do modelo, tenta identificar caminhos que levem ao resultado que um atacante buscaria.

Esse trabalho também precisa incorporar inteligência sobre ameaças reais.

Ataques que já estão acontecendo no mundo são reproduzidos para verificar se os mesmos vetores funcionam contra determinado modelo.

A lógica é simples: quebrar o sistema antes que outra pessoa consiga quebrá-lo em produção.

A participação de especialistas de domínio é especialmente importante nesse processo.

Um profissional de cibersegurança pode testar como um modelo reage a diferentes técnicas de ataque, mas um especialista em fraude, por exemplo, conhece padrões e estratégias que dificilmente seriam capturados por uma avaliação genérica.

O mesmo vale para biologia, química ou qualquer outra área em que um modelo possa ser utilizado para finalidades de alto risco.

Quanto mais específico é o conhecimento necessário para explorar uma vulnerabilidade, mais importante se torna ter alguém que conheça aquele domínio tentando encontrá-la.