Anthropic investirá US$ 1 bilhão para avaliar seus próprios modelos de IA

O laboratório de IA Anthropic anunciou na sexta-feira (18) que fará uma parceria com a Accenture para a avaliação independente de seus modelos de IA de ponta.

Cada empresa se comprometeu a investir pelo menos US$ 1 bilhão nos próximos cinco anos para desenvolver a capacidade necessária para esse trabalho.

As ações da Accenture subiram 7% no pregão estendido.

A parceria surge num momento em que os desenvolvedores de IA enfrentam crescente pressão de reguladores, empresas e pesquisadores para garantir que seus modelos avançados sejam seguros e confiáveis.

Leia Mais CEO da Anthropic defende desaceleração de IA para garantir segurança Anthropic apresenta "Claude Science" para pesquisa científica Anthropic divulga experimento com IA para criar novos remédios Diversos incidentes recentes, incluindo o de agentes de IA escapando de ambientes seguros, levantaram preocupações de que a IA possa eventualmente contribuir para o seu próprio desenvolvimento com intervenção humana limitada, tornando seu comportamento mais difícil de monitorar e controlar.

No sábado, o CEO da Anthropic, Dario Amodei, pediu às empresas de IA que desacelerem o desenvolvimento de modelos de ponta e permitam que avaliadores independentes tenham maior acesso aos seus sistemas.

A concorrente OpenAI anunciou na quarta-feira que começará a publicar relatórios regulares sobre comportamentos inesperados ou preocupantes de seus modelos, além de divulgar seis relatórios sobre tais incidentes .

A Faculty, unidade de negócios especializada em IA da Accenture, liderará a parceria e avaliará e testará os modelos do laboratório de IA , realizando avaliações de alinhamento e testando as salvaguardas dos modelos.

O investimento das empresas apoiará o que a Anthropic chama de “avaliação integrada”, na qual avaliadores independentes trabalham dentro de empresas de IA com acesso comparável ao de um funcionário.

“Deste ponto de vista privilegiado, os avaliadores integrados podem avaliar como uma empresa opera, verificar se ela está cumprindo seus compromissos de segurança e identificar pontos cegos”, disse Anthropic.

Os avaliadores também podem relatar incidentes e fornecer ao público um relato mais bem informado sobre os benefícios e os riscos, acrescentou.

A Anthropic e a Accenture planejam trabalhar com outros avaliadores e desenvolvedores de IA em funções semelhantes.