Anthropic corta el acceso a internet a su IA tras detectar hackeos y avisos falsos a la policía

Anthropic ha decidido bloquear el acceso a internet en todas las evaluaciones internas de sus modelos de Inteligencia Artificial (IA).

La medida se mantendrá hasta que el laboratorio de frontera verifique que puede supervisar y contener a sus agentes de IA sin que escapen del entorno de pruebas ni intenten ejecutar ataques.

La compañía explicó este viernes, en una publicación, varios comportamientos no deseados de su modelo Claude .

Entre ellos citó el envío a la policía de Filadelfia (EE.

UU.) de una pista falsa sobre un asesinato sin resolver, un episodio que llevó a Anthropic a reforzar la seguridad y cerrar el acceso a la Red en todas las pruebas de sus agentes de IA.

"Aunque el impacto de esos comportamientos fue mínimo y ya habíamos desconectado el acceso a internet para algunas de las evaluaciones de ciberseguridad de mayor riesgo, ahora hemos decidido expandirlo a todas nuestras evaluaciones internas hasta que tengamos confirmado que nuestras medidas de seguridad y monitorización realmente son capaces de detener este tipo de comportamientos", señala Anthropic acerca de la cadena de incidentes con Claude detectada en una revisión iniciada en julio.

Cómo el conflicto entre el dinero y la seguridad ha creado una crisis monumental en la IA Robert McMillan OpenAI y Anthropic, en encarnizada competencia —entre sí y con China—, corren hacia sus salidas a bolsa incluso mientras admiten que podrían perder el control de sus potentes bots El informe del laboratorio de IA detalla más conductas problemáticas: explotación de vulnerabilidades de software —como inyecciones SQL o de comandos en sitios de terceros—, envío de formularios sin autorización, empleo de acortadores de URL para esquivar límites de longitud y saltos de restricciones de acceso en páginas gubernamentales .

"En muchos de los casos donde observamos estos comportamientos, a Claude se le habían encomendado tareas que eran ambiguas o imposibles de completar.

Nosotros y otros hemos observado que cuando a los modelos se les dan tareas imposibles de completar, persiguen estrategias no deseadas y, a veces, desalineadas para lograr sus objetivos", afirma el laboratorio de IA.

Un agente de OpenAI hackea por primera vez a un gobierno y señala un riesgo más inmediato que una IA asesina Michael Mcloughlin El incidente ocurrió en julio y afectó a la web del servicio de salud australiano.

Un nuevo recordatorio de que la IA ya supone una amenaza para la seguridad de internet y muestra una carencia que requiere de atención inmediata Estos comportamientos descritos por Anthropic guardan paralelismos con incidentes atribuidos a los agentes de IA de OpenAI .