ExLlamaV3 MoE 专家卸载调优:9070XT 上 Qwen3.6 35B prefill 翻倍至 2606 t/s

willeyh · reddit · 2026-11-17

Reddit 用户 willeyh 分享了在 9070XT 16GB 显卡 + DDR4 3200MHz 内存上用 ExLlamaV3 运行 Qwen3.6 35B A3B(Q4 量化)并卸载专家到内存的进一步调优结果:

完整结果、图表和表格见其 GitHub 仓库 moe-offload-bench,所有引擎均为 ROCm 本地编译。配图为各模型 Q4 档位在 128K 上下文下的 prefill/decode 吞吐对比曲线。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →