4×RTX 3090 跑 Qwen MoE 实测：专家命中率决定解码速度

maxigs0 · reddit · 2026-11-13

Reddit 用户在 Threadripper + 4×RTX 3090（无 NVLink、PCIe 3.0）上用 Strata 详测 Qwen MoE 模型的 unsloth UD-Q4/Q5 量化版本，专家权重放内存、尽量缓存进显存，得出多条可复用结论：

解码速度取决于装进显存的专家数：从 2 卡加到 3 卡，专家命中率从 88% 升到 95%，每步解码从 33ms 降到 26-27ms（+25-35% tok/s）；第 4 卡对解码增益很小。
Prompt 读取速度取决于 PCIe 带宽：x8 双卡读 prompt 只有 x16 双卡的一半；4 卡齐上读取速度是 2/3 卡的两倍。
Q5 比 Q4 困惑度仅低 0.55%，但解码慢 28%、读 prompt 慢 35-50%，性价比不佳。
Q80 n-gram 表相对 IQ4NL 无可测质量增益，但用 NVMe mmap 可省 27GB 内存。
200K 长对话：冷启动 190K prompt 首次 91 秒，之后短轮次 0.3 秒起步、解码 78 tok/s。

帖子附完整的多卡组合对照表（ms/step、tok/s、prompt 读取耗时、专家命中率），是本地部署 MoE 模型的实用参考。

「Infra」频道最新