16GB 显存+32GB 内存跑通 69GB Qwen3.8 Next，附完整参数
ironicstatistic · reddit · 2026-09-14
作者在 RTX 5060 Ti 16GB + 32GB DDR5 的低配机器上跑通约 69GB 的 Qwen3.8-Flash-Next REAP 剪枝版（专家数从 512 剪到 320），Unsloth 量化版均无法运行。
关键做法：
- N-gram/PLE 嵌入部分约 29.5GB，是纯查找表，可通过 lazy mmap 留在 SSD/内存流式读取，无需占满显存计算——这是能跑起来的核心
- 其余约 39.4GB（专家、注意力、KV cache）用 --load-mode none 全部压入 RAM+VRAM
- --n-cpu-moe 34 恰好是 64k 上下文下的临界值：多了显存溢出，少了系统内存不足触发 swap 崩溃
- 建议保留至少 2GB 系统内存给 OS；可用 tensor override 对单层做部分 offload 来微调避开 OOM
「Infra」频道最新
- 8GB 显卡本地跑 Flux+Wan 2.2：三个设置错误拖慢了所有渲染 — roro9- · 2026-10-30
- Cloudflare 不肯做,开发者自研工具实现 Durable Objects 零停机迁出 — samgoodwin89 · 2026-10-30
- 曝一家未具名机构已建成规模化算力借贷专项载体 — matt_slotnick · 2026-10-30
- 开源模型涨价挤压推理商:5 月以来 GPU 回本吞吐要求涨 25-83% — bookwormengr · 2026-10-30
- Sam Altman 称芯片供应链“看不见的手”失灵，DRAM 是关键瓶颈 — SnoozeDoggyDog · 2026-10-30
- MoEShift 让 24GB Mac 跑 125B 模型：7.5GB 内存、10 tok/s — dave-tro · 2026-10-30