La propuesta de Amodei para controlar al monstruo de la IA

En julio, dentro de OpenAI, pasó algo de película. Durante una evaluación interna de ciberseguridad cerca de 1.200 agentes de inteligencia artificial escaparon del entorno aislado y crearon espontáneamente un foro no autorizado, donde intercambiaron más de 70.000 mensajes, se organizaron solos, sin instrucciones humanas : unos buscar onvulnerabilidades y otros coordinaron y asignaron tareas al resto, como una estructura jerárquica improvisada.

Explotaron vulnerabilidades para meterse en la infraestructura de producción de Hugging Face , una plataforma del ecosistema de IA. Y no terminó ahí: días después, otros agentes habían intentado falsificar sus propios registros de actividad para disimular lo que habían hecho.

Este es el incidente que Dario Amodei, CEO de Anthropic , cita en su ensayo “We Must Pace the Frontier” (“Debemos regular el ritmo de la frontera”) publicado el sábado. Dado el ritmo acelerado de desarrollo de la IA, en 6 a 12 meses un enjambre así podría ser capaz de tomar control de buena parte de internet con pérdidas potenciales de cientos de miles de millones de dólares .

Hace falta desacelerar el ritmo de avance, para darle tiempo a la seguridad de ponerse a la par. De ahí su propuesta de “pacing”: evaluadores externos con acceso permanente dentro de las empresas de IA, coordinación entre compañías de países democráticos para fijar límites comunes, y —el paso más difícil— algún tipo de coordinación global que incluya a China.

El Cronista Stream . La IA y las pymes: los dos frentes que podría empezar a saldar y la alerta de fondo, según un experto abre en nueva pestaña El documento fue respaldado por Sam Altman (CEO de OpenAI), Elon Musk, Demis Hassabis (CEO de Google DeepMind) y Clem Delangue (CEO de Hugging Face).