¿Podría la IA revelar un secreto empresarial?

Imaginemos que un ejecutivo introduce en la IA un documento confidencial de su empresa para mejorarlo.

Contiene un enfoque original que puede proporcionar una ventaja competitiva.

Tiempo después, un tercero formula una pregunta semejante a la misma IA y recibe una respuesta que reproduce aquella idea. ¿Ha traicionado la máquina el secreto empresarial? ¿Estamos ante una nueva modalidad de espionaje industrial?La historia resulta verosímil porque encaja con nuestros temores sobre una tecnología cuyo funcionamiento apenas comprendemos.

Pero tiene un problema: los modelos de IA generativa no aprenden de cada conversación en tiempo real.

Sus parámetros permanecen inalterados durante su utilización ordinaria.

La información introducida por un usuario no pasa a estar disponible para los demás de inmediato.

Para que un nuevo concepto acabe influyendo en las respuestas tendría que incorporarse a una actualización del modelo, siempre que las condiciones del servicio lo permitieran.

ChatGPT, por ejemplo, ofrece bloquear la opción «mejorar el modelo para todo el mundo», lo que eleva el nivel de privacidad.

Ciertos servicios empresariales, traen por defecto una mayor confidencialidad.Sin embargo, las dudas sobre la forma en que se han entrenado los LLM –una 'caja negra' para todo el mundo– permiten albergar dudas .

La posibilidad técnica de recuperar información memorizada está demostrada.

En 2021, Nicholas Carlini y otros investigadores publicaron un estudio titulado 'Extracting Training Data from Large Language Models' , que mostraba cómo podían extraerse fragmentos de los datos usados para entrenar modelos de lenguaje.

En otra investigación , presentada inicialmente en 2023, Carlini y sus colaboradores demostraron que también podían recuperarse datos de entrenamiento de sistemas comerciales como ChatGPT.

Estos experimentos no prueban que un razonamiento empresarial introducido en una conversación pueda ser revelado posteriormente a terceros, pero abren campo a la duda.Hay, además, una explicación mucho más sencilla: la convergencia intelectual.

Dos personas, o una persona y una máquina, pueden alcanzar independientemente la misma conclusión a partir de premisas conocidas.