MoE Is Eating the AI World — But Is It Just NVIDIA’s Marketing Genius?
MoEがAI業界を席巻中だが、実際はNVIDIAの天才的なマーケ戦略じゃないか？
blogs.nvidia.com
So the top 10 open-source AI models all use MoE now, and they’re 10x faster on NVIDIA’s GB200 NVL72. Sounds impressive—until you realize that 'faster' only applies if you’ve got half a million dollars for a rack-scale system.
上位10のオープンソースAIモデルは今やすべてMoEを採用し、NVIDIAのGB200 NVL72では10倍の速度。感動的だと思える—but-実際には『高速』というのは、50万ドル出してラックスケールシステムを導入できる企業だけの話だと気づくと話が変わる。
They keep saying MoE mimics the human brain—but isn’t it really mimicking oligarchic capitalism? Some experts get activated, others get left in memory cold storage. Classic.
MoEは人間の脳に似ているというけど、実際は『寡頭資本主義』を模倣してないか？ 特定のエキスパートだけが起動し、ほかは記憶の冷凍庫に放置。完全に典型だよ。
これこそ拡張可能なAIがずっと求めていたものだ。MoEは関連するパラメータだけを起動するので、品質を犠牲にせず推論コストを削減できる。GB200のNVLinkファブリックはマーケではない。本当に意味のある技術だ。
10倍の速度は確かに魅力的だ。だが最近のAI『革命』はどれも、データセンター予算を持つ企業にしか恩恵がない。オープンソース？ 実際は『オープンもどき』と呼ぶべきだ。
人間の脳に例えるのはもう安易すぎる。意識ではなく利益を最適化するシステムに、認知的比喩を当てはめているだけだ。
MoEの未来は巨人だけのものだ。ラズベリーパイで動くバージョンが出るのを、我々はまだ待ち続けている。
そもそも『ラズベリーパイ』の夢ですら、誰かが構築したインフラの上に成り立っているって理解してる？ 小規模開発者を阻害している人なんていないよ。
GB200はまたしても新しい囲い庭にすぎない。「オープン」モデルと呼んでも意味がない。本物の速度を出すにはブラックウェルが必要なら、それはオープンではない。ベンダー支配だ。
正直、どちらの主張も正しい。MoEは革命的だが、それを動かすインフラがアクセス可能でなければ意味がない。今のところ、それは私たちの多くを置き去りにする進歩だ。