4×RTX 3090 跑 Qwen 大模型:专家命中率与 PCIe 实测账
maxigs0 · reddit · 2026-11-13
作者用 Claude Code 通过 SSH 在 Threadripper + 4×RTX 3090(无 NVLink、PCIe 3.0)上系统实测了 Qwen MoE 模型的 unsloth UD-Q4/Q5 量化,经 Strata 引擎以 layer split + DFlash2 drafter 运行,得出一组反直觉结论:
- 解码速度取决于 VRAM 里能装下多少专家:miss 的专家落到 CPU 上算。从 2 卡升到 3 卡,专家命中率从 88% 提到 95%,每步解码从 33ms 降到 26-27ms(+25-35% tok/s);第 4 张卡对解码几乎无增益。
- prefill 读 prompt 取决于 PCIe 宽度:两张 x8 卡读 prompt 速度是两张 x16 的一半;3 张卡不比 2 张快,4 张卡反而比 2/3 张快一倍(引擎日志未解释原因)。
- PCIe 宽度对解码速度无影响。
- Q5 vs Q4:Q5 困惑度仅低 0.55%,但解码慢 28%、读 prompt 慢 35-50%;加第 3 卡能把 Q5 解码拉回 Q4-2卡 水平。
- Q80 n-gram 表相对 Q4 自带 IQ4NL 表无可测质量增益,但通过 NVMe mmap 可省 27GB 内存。
- 200K 长上下文:冷启动 190K prompt 首次读 91 秒,之后缓存会话新回合 0.3 秒启动、78 tok/s。
文章附完整的多卡组合与 token/s、prompt 读取耗时数据表,每卡 24GB 显存压到 23.4GB(每卡缓存 5600 个 Q4 专家)。对想用消费级卡本地跑大上下文 MoE 模型的人是难得的实测数据。
所属事件:4×RTX 3090 实测 Qwen MoE：专家命中率决定解码速度(2 条相关)→
「Infra」频道最新
- 1245 亿参数压进 22GB：Cactus Quants 量化后 MacBook 跑出 47 tok/s — pbaylies · 2026-11-13
- 8B MoE 在电视盒子上跑到 7.2 tok/s，专家权重从闪存换页 — petrusenko_max · 2026-11-13
- Railway 遭黑复盘：攻击者疑似使用无安全护栏的「abliterated」AI 模型 — The Pragmatic Engineer · 2026-11-13
- 微软重组数据治理战略:Purview 治理功能 2027 年退役并入 Fabric — davemccollough · 2026-11-13
- Polymarket 开盘英伟达下任 CEO：Ian Buck 41% 领跑，苏姿丰仅 5% — Polymarket · 2026-11-13
- Melius 将英伟达评级下调至持有:近几周局势史无前例 — SumitGup · 2026-11-13