16GB 显存跑 35B MoE：9070XT 上三引擎专家卸载实测，ExLlamaV3 最能打
willeyh · reddit · 2026-11-13
作者在 9070XT（RDNA4，16GB 显存）+32GB DDR4 上，用 llama.cpp、ExLlamaV3、Strata 三个引擎做了两天 MoE 专家卸载基准测试，目标是在 128K 上下文（agent 工作最低需求）下可用，KV 用 Q8。结论：16GB 装不下像样的 Q4 量化加大上下文，但 Strata、ExLlamaV3 和新近 llama.cpp 的热门专家缓存让慢速系统内存带宽下的卸载变得可行。128K 下最佳成绩：Ornith 1.5 35B-A3B（EXL3 4.0bpw + DFlash2/ExLlamaV3）prefill 1168 t/s、decode 57.3 t/s；Qwen3.6-35B-A3B 同配置 prefill 1246 t/s、decode 71.6 t/s；Qwen3.8-Flash-Next Coder（IQ1M + Polystrata，--spec 2）prefill 1572 t/s、decode 44 t/s。意外发现：35B 模型 prefill 随上下文急剧下降（16K 时 1900 t/s →128K 时 700 t/s）。所有图表、多 bpw 对比数据与 Go 编写的 bench 套件（基于 Kapitsa）已开源在 moe-offload-bench 仓库。
「Infra」频道最新
- 微软宕机原因确认：变更验证致大量服务器失去响应 — Kyrannio · 2026-11-13
- 算力从未免于过剩：转发者称不懂数周期的人是在捐赠 — McDonaghMatthew · 2026-11-13
- AWS 实测 Bedrock 省钱四参数：缓存 TTL、Flex 档、思考力度与 maxTokens — AWS ML Blog · 2026-11-13
- Cloudflare Workers 限流 API 升级：一次调用可消耗多个额度单位 — ritakozlov · 2026-11-13
- RL 圈讽喻热帖：解耦生成与训练并非免费吞吐，staleness 不是舍入误差 — willcb · 2026-11-13
- 开源 WakeGPU:把 Colab 远程 GPU 变成自动待机关停的本地生成工作室 — Far-Ad9512 · 2026-11-13