稀疏 MoE 让 SSD 成本地 AI 瓶颈,Magnitude 引擎直读 NVMe 破 VRAM 墙
rickasaurus · x · 2026-11-22
@tomgreenwald 指出:前沿开源模型几乎全是超稀疏 MoE,每 token 只激活约 3-6% 参数,把整个模型塞进 VRAM 已无意义,SSD 将成为本地 AI 的唯一限制因素。文中列举:Qwen 3.8 Flash Next 180B 总参/约 6B 激活、GLM 5.3 Flash 321B/约 18B、DeepSeek V4.1 Flash 552B/约 16B、GLM 5.3 753B/约 40B、Kimi K3.1 Pro 2.8T/约 104B。
本地推理的演进路径(配图 nicely 总结了三代方案):
- 2023-2025 分层 offload(Ollama、经典 llama.cpp):整层在 GPU/CPU 间切换,VRAM 满后 GPU 等 CPU,受限于 VRAM
- 2026 年 10 月 RAM expert cache(llama.cpp --moe-cache):从整层细化为单个 expert,热 expert 缓存在 VRAM、未命中从 RAM 拉取,decode 大幅提升但仍受 RAM 上限
- 现在的 expert streaming:热 expert 常驻 VRAM 预取,其余模型放只读 SSD 直接 NVMe 读取——只受 SSD 速度限制
配套开源项目 Magnitude:按你的硬件自动调优 kernel 的推理引擎,号称比 Ollama 快 2 倍,支持 Apple Silicon/NVIDIA/AMD/Intel/CPU,GitHub 8k stars,Apache-2.0。
「Infra」频道最新
- OpenAI 工程师确认 GPT-Live 缓存亲和 bug,周一将推修复 — pbbakkum · 2026-11-22
- Lambda 用英伟达 CPO 交换机连万卡 GB300 集群,延迟最高降约 10% — Beth_Kindig · 2026-11-22
- Mac 本地跑 Inkling 2 Mini 实测:20GB 模型、写入约 16 token/s — jacob_posel · 2026-11-22
- GPU profiling 入门路径:测 PyTorch attention 峰值显存,配 CS336 作业2 实战 — stanfordnlp · 2026-11-22
- OpenRouter 上 42 家卖 DeepSeek V4.1 Flash,大推理商靠长约每 token 赚更多 — AccBalanced · 2026-11-22
- Inkling 2 Mini 登顶性价比榜:26B 循环 Transformer,每千题成本最低 — TheZachMueller · 2026-11-22