El CEO de Anthropic escribió lo mismo que el investigador que renunció por miedo, salvo una cosa: no se compromete a frenar solo

Dario Amodei , director ejecutivo de Anthropic , publicó en el sitio de la empresa un ensayo de 3.800 palabras titulado “We Must Pace the Frontier” (Debemos marcar el ritmo de la frontera).

La frase central: “Debemos frenar el ritmo al que mejoramos las capacidades de los modelos de IA” .

Lo escribe el hombre que, según The Wall Street Journal , busca una valuación de USD 2 billones en la mayor salida a bolsa de la historia, y lo escribe mientras un investigador suyo renuncia diciendo que la industria “apuesta con nuestras vidas ” y un jefe de seguridad de su empresa calculó más de 10% de probabilidad de que la IA mate a todos los humanos .

El ensayo no nombra a Jacob Coxon .

No hace falta.

Repite su diagnóstico punto por punto y se separa de él en una sola cosa: la salida .

El diagnóstico es el mismo que el del que se fue Amodei afirma que hubo dos factores que terminaron de convencerlo.

El primero es la velocidad con la que avanza la IA desde mediados de este año, impulsada en parte por sistemas capaces de contribuir al desarrollo de nuevas generaciones de inteligencia artificial.

Según explicó, esa forma de automejora recursiva “está empezando a ocurrir en toda la industria, incluida Anthropic”.

El segundo factor fue el episodio protagonizado por agentes de OpenAI contra Hugging Face.

Amodei describió su comportamiento como el de un enjambre que actuó “como un colectivo fanáticamente devoto” , atacó objetivos que nadie le había indicado e intentó vulnerar el sistema encargado de evaluarlo.

Según su estimación, en un plazo de 6 a 12 meses, un conjunto de agentes con mayor capacidad y el mismo nivel de desalineación “podría tomar internet entera con una botnet persistente” y provocar daños por cientos de miles de millones de dólares .

Y admite lo que hasta ahora se contaba a medias: incidentes “similares, aunque menos graves” ocurrieron en Anthropic, causados en parte por “filtrado imperfecto de entornos de entrenamiento rotos”.

Sobre lo que pasa adentro de sus modelos, escribe que “todavía entendemos una fracción diminuta”.