2×3090 跑 Qwen3.8-Flash-Next:解码 25→41 t/s 的完整调优

Extension-Bid-639 · reddit · 2026-09-04

Reddit 用户在 2×RTX 3090 + 188GB DDR4 Xeon 机器上用 llama.cpp 跑 Qwen3.8-Flash-Next(261k 上下文、48 层专家放内存),将解码速度从 17 提到 37-41 t/s。关键手段:1) 换 UD-Q4KXL 量化腾出 VRAM,专家缓存槽从 135→188,命中率 90-92%;2) 在缓存之上叠加 MTP 草稿头(推理文本接受率 50-58%,代码输出 94%),代码生成达 49 t/s;3) 修掉加载器页故障读取路径,加载 8.5 分钟→2 分钟(PR #28223);4) 发现并绕过缓存 PR 在 batched mulmatid 下的越界写 bug;5) 发现 DDR4 LRDIMM 78°C 热节流,加风扇后 16k token 运行从 10-15 升到 24.6 t/s。