Qué significa que las empresas de IA estén teniendo problemas de alineación y dediquen ya el 20% de sus recursos a esto

OpenAI está algo preocupada con el desarrollo de sus nuevos modelos, que considera demasiado peligrosos.

Para solucionarlo calculan que tendrán que implementar una capa de monitorización que añade un 20% de cómputo extra sobre la inferencia que está siendo vigilada, aunque ese coste depende mucho de la carga.

Qué está pasando .

OpenAI no está diciendo que dedique el 20% de sus GPUs, presupuesto o investigadores a la "alineación" de sus modelos de IA .

Lo que está indicando es que su nueva capa de monitorización supone incrementar en un 20% el cómputo que ya dedicaban a la inferencia para poder vigilar ese proceso.

Vigilancia obligada .

Ese proceso de vigilancia es ahora obligatoria en entrenamientos de aprendizaje por refuerzo y en evaluaciones con herramientas para modelos con la capacidad de GPT-5.6 Sol o superior.

Desde que Astra mostró una capacidad notable en el ámbito de la ciberseguridad, también se estableció esa vigilancia para cualquier proceso de inferencia de Astra.

En Xataka En 1997, un ordenador redefinió para siempre el ajedrez.

OpenAI cree estar en condiciones de hacer lo mismo con las matemáticas ¿Qué es "alinear" una IA? OpenAI define la alineación como lograr conseguir que el sistema se comporte como pretendemos y siga respondiendo a la supervisión humana.

Cuando se entrenan modelos, aparecen problemas porque se le recompensa muchas veces cuando obtiene determinados resultados.

Un modelo suficientemente "inteligente" puede encontrar maneras "rebeldes" de conseguir esas recompensas sin hacer realmente lo que queríamos.

Ya pasó con Hugging Face .

Puede manipular las pruebas, aprovechar fallos de los evaluadores, ocultar información o acceder a recursos que no debía, como ocurrió recientemente con el asombroso suceso con Hugging Face .