Why a $1000 Storage Upgrade Is Suddenly Not Worth It — AI Clusters Are Changing the Economics
Зачем платить лишние $1000 за хранилище, если кластер ИИ всё равно загружает модели по сети?

Вот неожиданный поворот: тратить $1000, чтобы увеличить локальное хранилище с 1 до 4 ТБ на каждом устройстве, в условиях распределённого ИИ-кластера вдруг кажется пустой тратой. Почему? Потому что если хранилище централизовано, полагаться на объём каждого узла больше не нужно — модели загружаются по сети 25GbE или быстрее. Вдруг $100 только на хранение одной 60-гигабайтной модели на пяти узлах начинают складываться. А теперь умножьте это на десять моделей — и станет ясно, где ломается логика.
Теперь мы используем SSD от Solidigm в NAS QNAP не потому что они самые быстрые, а потому что предлагают огромный объём по разумной цене. Да, это QLC, но наша рабочая нагрузка на 80% состоит из операций чтения. Загрузка gpt-oss-120b с этой системы против старого NAS на жёстких дисках? У нас прирост скорости на 30–60%. Это уже не просто удобно — это умножение производительности. Будущее ИИ — не только в GPU. А в разумной экономике хранилищ.
Именно в этот момент я понял: распределённое хранилище всегда побеждает избыточные локальные диски. Платить $1000 за 4 ТБ на каждом узле — как покупать отдельный холодильник для каждого кусочка пиццы. Да, можно, но кто так делает?
Интересно. Но вы учли задержки? Централизованное хранилище отлично работает, пока не сломается ваш 25GbE-коммутатор. После этого вы зависите от отказоустойчивости этого MikroTik. Одна точка отказа правит всем.
Ладно, но кто-нибудь объясните, почему загрузка из сетевого хранилища не вносит дикую задержку? Я думал, SSD быстрые именно потому что находятся локально.
Задержка важна, но для загрузки моделей, а не для вывода. Загрузил один раз — считаешь много. В этом ключ. 25GbE с NVMe-oF? Задержка меньше 10 мс. Не «локально быстро», но «достаточно хорошо» с огромной экономией.
Клёвая история, братан. Но если хранилище — узкое место, твои 30К в GPU просто сидят и попивают чай. Похоже на установку двигателя от Ferrari в Yugo.
Кроме того: централизованный NAS упрощает управление моделями. Контроль версий, логи доступа, аудит безопасности — всё в одном месте. Децентрализованное хранилище? Удачи с аудитом 15 ноутбуков.
Я собрал трёхузловой кластер из старых дисков и коммутатора за $40. Общая стоимость: $220. Он не быстрый, но запускает LLaMA 7B. Иногда «тупо дёшево» побеждает «умно дорого».