Descubren que usaban Claude para el estudio y diseño de una gripe aviar en humanos

Anthropic ha publicado un nuevo informe donde explica que ha bloqueado cinco casos en los que se quisieron usar sus modelos de inteligencia artificial (IA) para desarrollos de laboratorio que podrían haber llevado a la fabricación de armas biológicas.

“Estos ejemplos ilustran las tareas para las que se utilizan nuestros modelos, y los juicios que debemos tomar al evaluar si un determinado uso biológico es peligroso”, escribe la compañía.

El informe incluye otros usos peligrosos de la IA, como la ciberseguridad, las armas convencionales y operaciones de influencia.

Es el cuarto texto de estas características que publica la compañía.

En este reporte, todos los ejemplos sucedieron este año y se realizaron usando modelos anteriores, menos potentes que el más nuevo de la familia Fable o Mythos, que cuenta con salvaguardas más sofisticadas: en principio, no permite que se realice un uso malicioso con facilidad.

Los actores que estuvieron detrás de estas operaciones van desde grupos con apoyo gubernamental a bandas mafiosas o individuos con motivaciones políticas.

Uno de los usos de Claude para armas convencionales es en el norte de Yemen , que apunta a algún grupo terrorista que pretendía, según el informe, usar la IA para lograr tres tipos de armas: “Un cohete guiado que usaba como ordenador de vuelo un chip de teléfono móvil” y dos tipos de misiles, uno con un alcance de más de 2.000 kilómetros.

El uso de estas herramientas por parte de grupos terroristas es uno de los más citados como peligro inminente.

Las armas biológicas son de todos modos el mayor peligro de los que incluye el informe de Anthropic.

En estos casos, la compañía no cita los autores de las consultas a Claude, en parte porque no sabe si su uso es realmente malicioso.

Estas situaciones se dieron en países donde Anthropic no presta sus servicios, por lo que los actores accedían al programa Claude a través de métodos oscuros, como revendedores o cuentas falsas.

En uno de los ejemplos, Anthropic decidió bloquear las consultas porque se hacían desde un instituto de investigación militar.

Esas consultas eran de un científico que pedía ayuda a Claude para escribir una petición de becas para investigar el virus chikungunya , una enfermedad transmitida por mosquitos.

Este tipo de investigación puede ser legítima en el desarrollo de vacunas, por ejemplo, pero también puede crear versiones superdesarrolladas de los patógenos.