32GB内存跑300B MoE模型：推理瓶颈与优化实测
maddie-lovelace · reddit · 2026-08-09
作者分享了在 32GB 内存的笔记本上运行 300B 参数 MoE 模型的推理优化经验。由于显存不足，模型的大部分专家权重（约 147GB）必须常驻内存并依赖 SSD 读取。
核心发现与优化方案：
- 读取速度是最大瓶颈：而非计算算子。将模型重打包为层优先（layer-major）格式，可将缓慢的随机读取转化为约 7GB/s 的连续大块读取。
- 缓存反而拖慢速度：系统页缓存的 double-buffering 机制会导致数据从 SSD 传至 CPU 再传至 GPU，使带宽消耗恶化约 3 倍。
- 预填充阶段的投机预取：在当前层计算时，利用路由器的提示预测并预取下一层所需的专家权重，能有效隐藏读取延迟。
- 首字延迟（TTFT）注定较慢：即使是 30 个 token 的短提示，也会在 43 层中触及大部分专家，计算完全被读取时间掩盖。
「Infra」频道最新
- Nscale 数据中心液冷屡漏半年起火，挪威查出10项安全违规 — saranormous · 2026-10-16
- WSL 3.0 发布:内置原生容器,高频系统调用内核耗时降约 16% — solyarisoftware · 2026-10-16
- 魔改 22GB RTX 2080 Ti 跑本地 LLM,值不值?作者求实测经验 — Dave86ch · 2026-10-16
- Intel 开源低比特量化库 neural-compressor:支持 FP4/MXFP4/NVFP4 — HaihaoShen · 2026-10-16
- 770B 参数压进 214GiB：腾讯混元量化团队拆解 Hy4 Preview 压缩术 — coolmum18 · 2026-10-16
- TokenSpeed MLA 2 适配英伟达 Vera Rubin，解码内核较 B200 提速 3.44 倍 — zhyncs42 · 2026-10-16