Anthropic concede a una ONG acceso de empleado para auditar sus propios modelos de IA

Anthropic anunció que le dio a un equipo de seis investigadores de METR, una organización sin fines de lucro que evalúa modelos de inteligencia artificial, un nivel de acceso equivalente al de sus propios empleados para que audite de forma independiente sus modelos y sus prácticas de seguridad .

La empresa lo describió en una publicación oficial del jueves como el paso más avanzado de un sistema de tres niveles de evaluadores externos que está construyendo desde el año pasado.

Según el comunicado, los seis integrantes de METR recibieron computadoras de la empresa, espacio de oficina y acceso a herramientas internas “a la par” de lo que usan los propios equipos de evaluación de riesgos de Anthropic.

Qué podrán ver en la auditoría La compañía señaló que sus empleados pueden compartir información con el equipo de METR “igual que lo harían con un colega que trabaja en riesgo de alineación” , salvo en categorías específicas: datos de clientes, información protegida por secreto profesional entre abogado y cliente, y detalles sobre la arquitectura de sus modelos.

Anthropic explicó que, para evaluar modelos de punta, los evaluadores externos deben reunir cuatro condiciones: experiencia para analizar las capacidades de los sistemas, incluida la capacidad de detectar cuándo una evaluación falla, por ejemplo si el modelo finge estar alineado, e independencia económica y operativa respecto de la empresa evaluada.

Las otras dos condiciones son un acceso suficiente, que va más allá de los modelos y llega hasta cómo se entrenaron y cómo funcionan sus salvaguardas, y la libertad para publicar sus observaciones sin restricciones previas.

La compañía reconoció que no puede compartir toda la información sobre su trabajo de seguridad en forma pública : parte de esos datos podría ser útil para actores maliciosos o es sensible desde el punto de vista comercial, como la información sobre el cómputo o el entrenamiento de sus modelos.

Por eso, según el comunicado, Anthropic optó por darles a los evaluadores externos un acceso profundo a cambio de que compartan pruebas y conclusiones razonadas sobre los riesgos de construir sus sistemas.

METR tendrá además la potestad de publicar sus propias evaluaciones de riesgos, incidentes y prácticas de la compañía, algo que la empresa no podrá bloquear.

“ Anthropic no puede vetar la publicación , pero podemos exigir que redacten información si cae en categorías estrechas y predefinidas”, escribió la compañía en su blog.

La organización evaluadora, aclaró Anthropic, “es libre de caracterizar públicamente nuestras redacciones y decir si cree que estaban justificadas, siempre que lo haga sin revelar la información redactada”.