Is This the Future of AI Clusters? Why We're Ditching Local Storage for a NAS-Driven Edge AI Farm
¿Este es el futuro de los clústeres de IA? Por qué estamos dejando el almacenamiento local para una granja de IA periférica basada en NAS
www.servethehome.com
So, picture this: instead of stuffing each AI box with $1,000 worth of local SSD just to run one big model, we decided to pool our storage. We’ve got NVIDIA GB10s, AMD Ryzen AI Max+ 395s, and even an Apple Mac Studio M3 Ultra—each beastly in its own way—now all feeding from a single QNAP NAS loaded with Solidigm drives.
Imagínate esto: en lugar de colmar cada caja de IA con $1,000 en SSDs locales solo para ejecutar un modelo grande, decidimos centralizar el almacenamiento. Tenemos NVIDIA GB10, AMD Ryzen AI Max+ 395 y hasta un Apple Mac Studio M3 Ultra—cada uno bestial a su manera—y ahora todos se alimentan de un único NAS QNAP cargado con unidades Solidigm.
Turns out, using Solidigm’s D5-P5336 QLC SSDs in a NAS isn’t just about saving cash. When loading models like gpt-oss-120b, we’re seeing 30-60% faster load times than with old HDDs. That’s the difference between wasting minutes and getting real work done.
Resulta que usar SSDs QLC D5-P5336 de Solidigm en un NAS no solo sirve para ahorrar dinero. Al cargar modelos como gpt-oss-120b, vemos tiempos de carga un 30-60% más rápidos que con discos antiguos. Esa es la diferencia entre perder minutos y hacer trabajo productivo.
Vale, pero ¿y la latencia? Entiendo los ahorros en costos, claro. Pero dime, cuando cambias modelos rápidamente para inferencia, ¿la red se convierte en un cuello de botella? Porque en IA para trading, un retraso de 100 ms es una eternidad.
Por fin, alguien lo entiende. El almacenamiento centralizado para clústeres periféricos no trata de IOPS máximos, sino de velocidad de flujo de trabajo. Cargar modelos en segundos en vez de minutos permite a los desarrolladores iterar más rápido. Allí es donde ocurre la verdadera innovación.
Los SSD QLC están optimizados para lectura por una razón. Si tu carga de trabajo es 80% lectura como esta, es obvio. Pero no te engañes: la resistencia a escritura sigue siendo una broma. Ideal para modelos, terrible para ajustes constantes.
Todo esto huele a 'privilegio de laboratorio bien financiado'. La mayoría de las universidades ni siquiera pueden permitirse un M3 Ultra, mucho menos un NAS con unidades Solidigm. Es tecnología genial, pero no es accesible. No olviden al 99 % que construye modelos en la capa gratuita de Colab.
Yo aquí con un WD Red de 4TB que trabaja como camión diésel subiendo una cuesta. Cargar un modelo de 13B tarda más que la siesta de mi hijo. Ustedes viven en el futuro y yo solo intento que mi NAS no se prenda fuego.
Ah, sí, otro registro de construcción de alguien con presupuesto infinito y sin limitaciones del mundo real. Ahora me dirán que su rack tiene iluminación ambiental y hacen copias de seguridad en un glaciar de Islandia.
Dato curioso: si escalas esto más allá de 5 nodos, las tarifas de salida de datos en la nube te arruinarían. Un NAS local como este es el asesino silencioso del retorno de la inversión en la nube. Esta configuración tiene sentido económico... hasta que Amazon te demande por ingresos perdidos.