32GB内存跑300B MoE模型：推理瓶颈与优化实测
maddie-lovelace · reddit · 2026-08-09
作者分享了在 32GB 内存的笔记本上运行 300B 参数 MoE 模型的推理优化经验。由于显存不足，模型的大部分专家权重（约 147GB）必须常驻内存并依赖 SSD 读取。
核心发现与优化方案：
- 读取速度是最大瓶颈：而非计算算子。将模型重打包为层优先（layer-major）格式，可将缓慢的随机读取转化为约 7GB/s 的连续大块读取。
- 缓存反而拖慢速度：系统页缓存的 double-buffering 机制会导致数据从 SSD 传至 CPU 再传至 GPU，使带宽消耗恶化约 3 倍。
- 预填充阶段的投机预取：在当前层计算时，利用路由器的提示预测并预取下一层所需的专家权重，能有效隐藏读取延迟。
- 首字延迟（TTFT）注定较慢：即使是 30 个 token 的短提示，也会在 43 层中触及大部分专家，计算完全被读取时间掩盖。
「Infra」频道最新
- LeCun 辩 AI 算力战：突破性芯片常因软件匮乏而失败 — ylecun · 2026-08-09
- 高通 GenieX 实操：在骁龙设备用 NPU 跑大模型 — carrycooldude · 2026-08-09
- AI 算力代价：英国数据中心扩张正引发水资源与电力危机 — nordicinst · 2026-08-09
- 开发者制作 MiniMax H3 RunPod 一键部署模板 — Draufgaenger · 2026-08-09
- 亚马逊自建巨型燃气电厂，或成全美最大气候污染源 — Nunki08 · 2026-08-09
- 北大等提出 UltraEP：突破大规模 MoE 训练 GPU 负载瓶颈 — jiqizhixin · 2026-08-09