Qué es y quién está detrás de METR, el organismo que Anthropic propone para supervisar que la IA no sea un peligro para la sociedad

En una carta publicada hace unos días , Dario Amodei abogó por detener el avance de la IA , y además lo hizo dando detalles muy claros de a lo que nos exponemos.

Según el CEO de Anthropic, en menos de un año una IA podría tomar el control de todo internet y provocar enormes daños.

Pero tranquilos, que tiene un plan para evitarlo, empezando por dar acceso permanente a auditores externos e independientes.

Amodei propone uno en concreto: METR.

Veamos qué es y quién está detrás de esta organización.

Qué es METR .

Su nombre son las siglas de Model Evaluation and Threat Research y se define a sí misma como una organización sin ánimo de lucro que trabaja "para evaluar científicamente si los sistemas de inteligencia artificial podrían suponer un peligro catastrófico para la sociedad".

Entre sus trabajos recientes está la investigación del incidente de OpenAI y Hugging Face, pero también se dedican a evaluar cuánto tiempo de trabajo humano puede completar un agente de IA, una métrica que se ha convertido en una referencia a la hora de medir las capacidades de la IA agéntica.

Además, diseñan propuestas de gobernanza para que las empresas refuercen sus medidas de seguridad.

Es decir, que METR no sólo se centra en evaluar riesgos, también plantean cómo deberían gobernarse los modelos, justo lo que pide Amodei en su carta.

El nacimiento de METR .

No surgió de la nada, sino que nació a partir de ARC Evals, un equipo dentro del Alignment Research Center, dirigido por Paul Christiano.

Christiano es una figura destacada dentro del campo del alineamiento de la IA y había trabajado anteriormente en OpenAI.

Para dirigir este nuevo proyecto, contrataron a Beth Barnes, que había pasado por DeepMind y OpenAI, donde había coincidido con Christiano.