Anthropic reconoce que no puede descartar que Claude termine contribuyendo al desarrollo de armas biológicas

Los modelos de inteligencia artificial (IA) de frontera están rompiendo todas las expectativas.

Todavía estamos sumidos en la catarsis que ha desencadenado la probable resolución de uno de los problemas del milenio pendientes, las ecuaciones de Navier-Stokes , por un modelo de vanguardia de OpenAI , cuando Anthropic ha soltado otra bomba.

Ayer, 10 de septiembre, el laboratorio de IA dirigido por Dario Amodei publicó un informe titulado "Detectando y combatiendo el uso indebido de la IA" en el que reconoce haber detenido varios posibles intentos de utilizar Claude en investigaciones que podrían contribuir al desarrollo de armas biológicas.

No cabe duda de que es una noticia muy preocupante, pero hay varios matices que no debemos pasar por alto.

Anthropic no afirma haber descubierto a científicos que estaban intentando utilizar sus modelos de IA para desarrollar armas biológicas; lo que sostiene es que ha identificado varios intentos, cinco, en realidad, de científicos que querían utilizar sus modelos para llevar a cabo investigaciones biológicas potencialmente peligrosas.

En estos casos los investigadores intentaron evadir los mecanismos de seguridad de los modelos y ocultar la finalidad de su trabajo.

Uno de estos casos es especialmente preocupante La respuesta que dio Anthropic a estos cinco casos de uso potencialmente peligrosos consistió en bloquear las cuentas de estos investigadores, o bien en limitar su acceso permitiéndoles utilizar solo modelos menos avanzados.

No obstante, este laboratorio reconoce que no pudo determinar si realmente existía una intención maliciosa, o si, por el contrario, se trataba de trabajos biológicos bienintencionados.

Sea como sea, el hecho de que los investigadores intentasen ocultar la finalidad de su trabajo es un claro indicio de uso pernicioso.

En Xataka Fusión nuclear y patatas fritas congeladas: una colaboración inesperada Un científico estaba utilizando Claude para preparar una propuesta de investigación relacionada con el virus 'chikungunya' Este escenario plantea una realidad inquietante: a los responsables de los modelos de IA de frontera les resulta muy difícil determinar cuándo una investigación legítima de doble uso puede cruzar una línea peligrosa .

Manejar esta incertidumbre ahora mismo es un desafío enorme.

De hecho, cabe la posibilidad de que un investigador lo suficientemente persistente consiga construir alrededor de los mecanismos de seguridad de los modelos de IA un flujo de trabajo capaz de obtener información sensible.

En su informe , Anthropic no desvela la procedencia de estos intentos de uso potencialmente peligrosos, pero confiesa que uno de ellos es muy preocupante.