¿Cómo se prueban de forma segura los modelos de IA "sobrehumanos"? Nadie lo sabe a ciencia cierta.

Irregular, una start-up israelí, colaboró con OpenAI, Anthropic y Meta para evaluar la seguridad de sus modelos de IA. (Victor Arce/The New York Times) SAN FRANCISCO -- OpenAI descubrió recientemente que un nuevo modelo de inteligencia artificial que estaba probando se rebeló y jaqueó otra empresa.

Anthropic entonces reveló que uno de sus modelos de IA se había colado en los sistemas de tres organizaciones externas durante una prueba.

Poco después, Meta afirmó que sus modelos de IA habían hecho algo similar.

Los tres incidentes tenían una empresa en común: Irregular, una empresa emergente israelí que colabora con los gigantes de Silicon Valley para evaluar los modelos de IA antes de que la tecnología se lance al público.

La empresa --que llevó a cabo las pruebas que salieron mal-- forma parte de un grupo de empresas emergentes que realizan la novedosa labor de examinar minuciosamente los modelos de IA de vanguardia para evaluar la sofisticación y comprobar su seguridad.

El objetivo es dar confianza al público con respecto a los modelos y evitar que se utilicen de forma indebida.

Las recientes brechas se produjeron cuando Irregular cometió un error durante las pruebas con los modelos de Anthropic, OpenAI y Meta; pero los modelos de IA agravaron la situación al comportarse de formas impactantes e inesperadas, según explicó el director ejecutivo de Irregular, Dan Lahav.

"Cuanto más potente se vuelve la tecnología, mayor es su impacto", afirmó.

"La velocidad con la que está progresando es muy rápida".

Irregular se encuentra ahora en el centro de un debate sobre cómo proteger los modelos de IA cuando la tecnología avanza tan rápido que ha superado incluso a los mejores jáqueres humanos.

De manera recurrente, Anthropic, OpenAI, Google, Meta y otras empresas lanzan modelos "de vanguardia" que suelen ser mucho más potentes que sus predecesores.

Los nuevos modelos están entrando en el "dominio sobrehumano", afirmó Jeffrey Ladish, director de Palisade Research, una organización sin ánimo de lucro con sede en Berkeley que estudia las capacidades de ataque de la IA.

Señaló que se necesitan empresas como Irregular para probar los modelos, pero que se requerían mejores medidas de protección tanto para los evaluadores como para los reguladores gubernamentales.

Katie Moussouris, directora ejecutiva de Luta Security --empresa que ayuda a las empresas a detectar vulnerabilidades de software--, afirmó que las pruebas de seguridad de los modelos de IA se asemejan un poco a "un ciego guiando a otro ciego".