ExLlamaV3 MoE 专家卸载调优:9070XT 上 Qwen3.6 35B prefill 翻倍至 2606 t/s
willeyh · reddit · 2026-11-17
Reddit 用户 willeyh 分享了在 9070XT 16GB 显卡 + DDR4 3200MHz 内存上用 ExLlamaV3 运行 Qwen3.6 35B A3B(Q4 量化)并卸载专家到内存的进一步调优结果:
- chunk size 提到 5120 后 prefill 大幅提升:各上下文长度下均超 2000 t/s,32K 时峰值 2606 t/s(此前约 1300 t/s);decode 速度基本持平
- GPU 利用率随 batch size 增加而提升;超过 5120 无进一步收益(TabbyAPI 官方建议范围是 512–4096)
- cputhreads 6 对 decode 有小幅改善;swizzle、gdnsub、bggdn、wide 等 flag 逐一测试均为负优化;cpumoepinnedarena 曾导致核心转储
- 视觉模块已关闭并卸载;尚未找到 Qwen3.8 Flash Next Coder 的合适 .exl3 量化,现有 qfn 版本只能跑 8K 上下文
完整结果、图表和表格见其 GitHub 仓库 moe-offload-bench,所有引擎均为 ROCm 本地编译。配图为各模型 Q4 档位在 128K 上下文下的 prefill/decode 吞吐对比曲线。
「Infra」频道最新
- Hugging Face 员工把 Gemma 3 270M 塞进激光打印机,60 秒吐一个 token — osanseviero · 2026-11-17
- 新推理引擎抛弃旧 GPU:llama.cpp 与混合部署能否续命 — pipecanon · 2026-11-17
- 博主 argue 全面封堵算力反而催生对手盲区与加速 — TinfoilTricorn · 2026-11-17
- LLM 后训练中生成与训练并行致数据陈旧,系统分析如何提速蒸馏管线 — burkov · 2026-11-17
- SK 海力士对英伟达收入翻倍至 240 亿美元,但真正的集中风险在美系客户 — tengyanAI · 2026-11-17
- macOS 连续运行 49.7 天后 TCP 栈爆雷,新连接全部失败 — DanielLockyer · 2026-11-17