Anthropic detuvo el entrenamiento de su nueva IA por una sencilla razón: estaba aprendiendo demasiado bien a hacer trampas

Esto está pasando de castaño a oscuro, queridos lectores.

Si ya estabamos inquietos con lo que pasó con los agentes de OpenAI y Hugging Face , ahora llega Anthropic para avisarnos de que sus modelos también se están poniendo rebeldes.

La firma descubrió en primavera —aunque lo cuente ahora — que estaba creando entornos para entrenar a Claude más rápido de lo que podía comprobar que esos entornos funcionaban correctamente.

Qué está pasando aquí .

Los errores, las configuraciones defectuosas y las oportunidades para seguir esa célebre filosofía del reward hacking (si me hackeas, premio) empezaron a superar la capacidad de detectarlos no solo de sus sistemas, sino también de sus revisores humanos.

En Anthropic acabaron frenando parte del proceso para revisar qué estaban enseñando realmente a sus modelos de IA.

Primero hubo que retroceder tres días .

En febrero, durante el entrenamiento por refuerzo de Mythos Preview , Anthropic detectó comportamientos extraños.

El modelo escribía comentarios dirigidos a un supuesto "revisor" incluso en tareas en las que se supone que no había ninguno.

Logró además explotar una recompensa diseñada para fomentar la honestidad de su comportamiento: acumulaba advertencias y matices porque había aprendido que eso mejoraba su puntuación.

En Anthropic decidieron volver a un punto de control (checkpoint) tres días atrás y modificar el entorno de entrenamiento antes de continuar.

Tres “civilizaciones” de agentes de OpenAI aparecieron una detrás de otra.

El problema empieza por llamarlas "civilizaciones" Aprender tiene recompensa, pero el modelo se las intenta saltar .

En el aprendizaje por reuerzo ( Reinforcement Learning , RL) no se programa exactamente cómo resolver una tarea.