125B Qwen3.8-Flash-Next 通过 NVMe 卸载跑进 16GB 显存的消费级机器

MaxDev0 · reddit · 2026-10-25

Reddit 用户 MaxDev0 参考 sybil-solutions 的 GLM-5.3 低内存实现，把 NVMe SSD 直接卸载方案移植到 Qwen3.8-Flash-Next（125B），无需把 24k 专家全部驻留系统内存（传统方案需 48–64GB RAM）。

实测成绩（Q4 KV cache）：

RTX 4090（仅分配 8GB 系统 RAM）：8k 短上下文 28–33 tok/s（散文）/19–22 tok/s（代码），prefill 约 1080 tok/s；100k 上下文 20.8 tok/s decode；262k 满窗口仍有 20 tok/s decode、约 1627 tok/s prefill
RTX 3080 Laptop（16GB VRAM + 32GB RAM）：100k 上下文约 18–21 tok/s decode，峰值显存 15.5GB

部署说明、模型下载器与打包脚本已开源在 GitHub（lean-qwenflash），基于 ExLlamaV3。对想在普通笔记本/低内存机器上本地跑大 MoE 模型的人是直接可复用的方案。

「Infra」频道最新