El 'Airbnb' de la inferencia: 'startups' que pagan por alquilar el ordenador para IA cuando no se usa

Las 'startups' Far Labs y Evolving Edge están planteando un nuevo tipo de modelo de negocio en el que se quiere aprovechar la potencia de procesamiento sobrante de los miles de ordenadores de sobremesa locales de todo el mundo alquilándola a empresas de Inteligencia Artificial (IA) para la inferencia como alternativa distribuida a los centros de datos.

Este modelo de negocio está emergiendo como consecuencia directa de las exigencias de los centros de datos que, además de ser utilizados por su vasta capacidad de procesamiento para el entrenamiento de los modelos de IA, también se usan para la inferencia, que es utilizar el modelo 'LLM' ya entrenado para responder a las consultas habituales que se hacen con ChatGPT, Claude, Gemini y otros 'chatbots', como recoge IEEE Spectrum.

Es decir, que 'startups' como Far Labs, con sede en Abu Dabi, y Evolving Edge, en Austin (Texas), quieren convertirse en el 'Airbnb' de la inferencia para aliviar la demanda computacional de los centros de datos mediante una red distribuida mundial que además tendría el aliciente de ofrecer beneficios a los usuarios que alquilen sus portátiles, GPU u ordenadores de sobremesa.

Cabe decir que el 'boom' de la IA está provocando la construcción de centros de datos masivos que suelen acabar dañando a las comunidades locales al elevar el precio de la electricidad, drenar las fuentes de agua y causar daños y ruido en el entorno en el que se edifican.

Aquí es donde entran en juego estas plataformas, que se centran en modelos pequeños y de código abierto y se limitan a la inferencia, y no al entrenamiento, que sigue exigiendo miles de GPU sincronizadas y físicamente contiguas en un centro de datos porque la latencia entre equipos separados lo hace inviable.

Se basan en canalizar tareas reales de inferencia de clientes entre los equipos de los particulares, y resuelven la seguridad del anfitrión (el equipo que se alquila) aislando cada trabajo en un entorno cerrado ('sandbox'), con comunicación cifrada y límites estrictos de acceso a CPU, GPU, memoria y almacenamiento.

Este concepto recuerda a las antiguas redes P2P y a proyectos como SETI@Home, que ya aprovechaban los ordenadores domésticos inactivos para una tarea común.

LAS DOS PLATAFORMAS Por un lado está Far AI de Far Labs que, aunque no está operativa de momento, se prevé que se lance en las próximas semanas como una experiencia que se basa en 'software' propio y que ofrecería una latencia de 100 ms o menos, unos ingresos estimados de 4,41 dólares al mes y hasta un 233 % sobre el coste eléctrico, según la compañía.

Y por otro lado está Evolving Edge, en fase más avanzada que Far Labs al contar con una beta abierta.