Anthropic plantea tres mediciones para saber qué tan rápido avanza la IA

Anthropic ha propuesto tres mediciones para comprender mejor el ritmo al que avanza la inteligencia artificial de frontera y determinar cómo está cambiando el papel de estos sistemas dentro de los propios laboratorios que los desarrollan.

Las métricas se centran en la automatización del desarrollo de modelos, la capacidad para supervisar a los agentes de IA y la cantidad de recursos informáticos destinados a desarrollar y proteger estos sistemas .

La compañía considera que estas mediciones son necesarias porque los modelos más avanzados no solo están aumentando sus capacidades, sino que también comienzan a participar en tareas relacionadas con la investigación y el desarrollo de nuevas generaciones de inteligencia artificial.

El objetivo de Anthropic es obtener una visión más clara de la relación entre los recursos utilizados para crear los modelos y las capacidades que estos terminan adquiriendo .

La empresa sostiene que conocer mejor este proceso puede ayudar a anticipar cómo evolucionará la IA y facilitar su supervisión.

La propuesta llega después de las advertencias de Dario Amodei, director ejecutivo de Anthropic, sobre los riesgos asociados al desarrollo acelerado de sistemas de IA de frontera.

Claude ya realiza parte del trabajo de desarrollo La primera medición analiza cuánto del trabajo de investigación y desarrollo de inteligencia artificial puede realizar directamente Claude, el modelo de Anthropic.

La compañía denomina a esta herramienta Índice de Automatización de I+D de Anthropic y la utiliza para conocer qué proporción del trabajo realizado en sus laboratorios está siendo liderada por su propia IA.

Según los datos publicados por la empresa, desde agosto Claude lidera el 26 % del trabajo de investigación y desarrollo de IA de Anthropic .

Además, participa en más del 90 % de estas tareas de alguna manera.

La diferencia entre ambos porcentajes permite distinguir entre las actividades en las que Claude simplemente colabora y aquellas que puede desarrollar de manera más directa.

Anthropic considera que seguir esta evolución es importante porque una aceleración de la automatización podría dificultar que los investigadores humanos comprendan y controlen el proceso de desarrollo.

Anthropic mide cómo supervisa a sus agentes La segunda medición está relacionada con la supervisión de los agentes de inteligencia artificial .

A medida que estos sistemas realizan más tareas por su cuenta, también aumenta la importancia de detectar y detener comportamientos que puedan resultar problemáticos.