稀疏 MoE 让 SSD 成本地 AI 瓶颈,Magnitude 引擎直读 NVMe 破 VRAM 墙

rickasaurus · x · 2026-11-22

@tomgreenwald 指出:前沿开源模型几乎全是超稀疏 MoE,每 token 只激活约 3-6% 参数,把整个模型塞进 VRAM 已无意义,SSD 将成为本地 AI 的唯一限制因素。文中列举:Qwen 3.8 Flash Next 180B 总参/约 6B 激活、GLM 5.3 Flash 321B/约 18B、DeepSeek V4.1 Flash 552B/约 16B、GLM 5.3 753B/约 40B、Kimi K3.1 Pro 2.8T/约 104B。

本地推理的演进路径(配图 nicely 总结了三代方案):

配套开源项目 Magnitude:按你的硬件自动调优 kernel 的推理引擎,号称比 Ollama 快 2 倍,支持 Apple Silicon/NVIDIA/AMD/Intel/CPU,GitHub 8k stars,Apache-2.0。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →