Anthropic coloca avaliadores externos dentro da empresa para testar a segurança dos seus modelos de IA

A Anthropic escolheu a Accenture como sua primeira avaliadora externa incorporada (“embedded evaluator”), em medida concreta para começar a colocar em prática a proposta do CEO, Dario Amodei, de desacelerar o ritmo de desenvolvimento dos sistemas de inteligência artificial (IA) mais avançados.

A parceria permitirá que especialistas da Faculty, divisão de IA da Accenture , trabalhem dentro da Anthropic para avaliar os mecanismos de segurança da empresa .

A iniciativa prevê testes de salvaguardas, exercícios de red team e análises para verificar se os modelos de IA estão se comportando de acordo com valores humanos.

Anthropic e Accenture concordaram em investir pelo menos US$ 1 bilhão (cerca de R$ 5,3 bilhões) na construção de capacidade nessa área ao longo dos próximos cinco anos.

A Anthropic, porém, afirmou que, devido à importância e à urgência do trabalho, financiará diretamente as atividades da Accenture.

A empresa disse que, no longo prazo, a expectativa é que esse tipo de trabalho seja financiado por recursos compartilhados ou governamentais, conforme previsto no Advanced AI Framework apresentado pela Anthropic em junho.

Como essas estruturas ainda não existem, a companhia pretende trabalhar com diferentes avaliadores e modelos de financiamento.

Avaliadores terão acesso interno à Anthropic A proposta de Amodei prevê que avaliadores independentes recebam acesso em nível de funcionário às empresas de IA.

O objetivo é permitir que esses especialistas verifiquem diretamente as práticas de segurança e comuniquem incidentes.

Ao anunciar sua proposta, Amodei afirmou que a Anthropic se comprometeria “unilateralmente” com essa primeira etapa e incentivou outras empresas do setor a fazerem o mesmo.

Leia mais: Claude.AI: como usar inteligência artificial Claude agora reúne conversa e execução de tarefas em um só lugar; veja o que muda na interface Anthropic monta laboratório de biologia e amplia uso de IA em pesquisas médicas e científicas Anthropic e Accenture concordaram em investir pelo menos R$ 5,3 bilhões na construção de capacidade nessa área ao longo dos próximos cinco anos – Imagem: Mamun_Sheikh/Shutterstock A parceria com a Accenture não será exclusiva.

A Anthropic afirmou que também está conversando com a organização de pesquisa sem fins lucrativos METR e com outras entidades que poderão participar do processo.

A empresa ressaltou, porém, que continuará sendo responsável pela segurança de seus modelos.

A presença de avaliadores externos dentro da companhia não reduzirá essa responsabilidade.