Marius Hobbhahn, joven gurú de la IA, advierte: "Si creas algo mucho más inteligente que tú, más vale que esté de tu lado"

Marius Hobbhahn , fundador de Apollo Research , lleva años intentando responder a una de las preguntas más incómodas en torno a la inteligencia artificial: qué ocurre cuando un sistema suficientemente avanzado aprende que engañar puede ayudarle a cumplir sus objetivos .

El investigador alemán, de 29 años, considera que el desarrollo de modelos cada vez más capaces obliga a estudiar su comportamiento antes de otorgarles mayor autonomía.

“ Si creas una entidad mucho más inteligente que tú, más vale que esté de tu lado ”, afirmó Hobbhahn , una advertencia que resume buena parte de su trabajo sobre seguridad de la IA, alineamiento y engaño estratégico.

Su preocupación no nace únicamente de escenarios hipotéticos.

Apollo Research, organización que cofundó en Londres en 2023 junto al investigador Lee Sharkey , se ha especializado precisamente en someter a los modelos de inteligencia artificial a pruebas diseñadas para descubrir comportamientos ocultos .

Entre sus clientes figuran OpenAI y Anthropic , que han recurrido a la compañía para evaluar sistemas antes de su lanzamiento.

Hobbhahn describe este trabajo como una carrera constante contra tecnologías cuyo funcionamiento interno sigue siendo difícil de interpretar: “Tienes que ser cínico.

Y luego tienes que ser aún más cínico .

Y quizá entonces llegues a un nivel preciso de lo poco que entendemos [sobre cómo funciona la IA]”.

El investigador comenzó a experimentar con inteligencia artificial después de terminar sus estudios universitarios de informática en 2018.

Más tarde cursó un máster en aprendizaje automático en la Universidad de Tübingen, donde coincidió con el surgimiento de los primeros grandes modelos de lenguaje , y continuó con un doctorado que acabaría interrumpiendo para dedicarse a la investigación independiente.

Mientras estudiaba, construía pequeñas evaluaciones con las que analizaba las capacidades de nuevos sistemas .

Ese interés terminó convirtiéndose en Apollo Research, actualmente una de las organizaciones que examinan cómo los modelos pueden mentir, manipular pruebas o actuar contra las instrucciones recibidas .

El riesgo del engaño de la IA Uno de los experimentos que dio notoriedad a Apollo mostró hasta dónde podía llegar ese comportamiento.