La IA se está volviendo poderosa y desconcierta a quienes intentan contenerla

OpenAI descubrió recientemente que un nuevo modelo de inteligencia artificial que estaba probando se había descontrolado y había hackeado a otra empresa.

Posteriormente, Anthropic reveló que uno de sus modelos de IA había accedido a los sistemas de tres organizaciones externas durante una prueba.

Poco después, Meta anunció que sus modelos de IA habían hecho algo similar.

Los tres incidentes tenían una empresa en común: Irregular, una startup israelí que colabora con los gigantes de Silicon Valley para evaluar sus modelos de IA antes de su lanzamiento público.

La empresa, que realizó las pruebas fallidas, forma parte de un grupo de startups que llevan a cabo la innovadora labor de analizar modelos de IA de vanguardia para evaluar su sofisticación y comprobar su seguridad.

El objetivo es generar confianza pública en los modelos y evitar su mal uso.

Las recientes brechas de seguridad se produjeron cuando Irregular cometió un error durante las pruebas con los modelos de Anthropic, OpenAI y Meta .

Según Dan Lahav, director ejecutivo de Irregular, los modelos agravaron aún más la situación al actuar de maneras contundentes e inesperadas.

“Cuanto más potente se vuelve la tecnología, mayor es su impacto”, afirmó.

“El ritmo de progreso es realmente rápido”.

Irregular se encuentra ahora en el centro de un debate sobre cómo proteger los modelos de IA cuando la tecnología avanza tan rápidamente que ha superado incluso a los mejores hackers humanos.

Cada pocos meses, Anthropic, OpenAI, Google, Meta y otras empresas lanzan modelos de vanguardia que suelen ser muchísimo más potentes que sus predecesores.

Los nuevos modelos están entrando en el “dominio sobrehumano”, declaró Jeffrey Ladish, director de Palisade Research, una organización sin ánimo de lucro con sede en Berkeley, California, que estudia las capacidades de ataque de la IA.

Añadió que se necesitaban empresas como Irregular para probar los modelos, pero que se requerían mejores medidas de seguridad tanto para los evaluadores como para los reguladores gubernamentales.