4×RTX 3090 实测 Qwen MoE:专家命中率决定解码速度

Reddit 用户在 Threadripper 平台搭配 4×RTX 3090(无 NVLink、PCIe 3.0)的环境下,使用 Strata 并借助 Claude Code 通过 SSH,系统实测了 Qwen MoE 模型的 unsloth 量化版本运行表现。测试重点分析了专家命中率与 PCIe 带宽对性能的影响,结果显示专家命中率是决定解码速度的关键因素,为消费级多卡部署 MoE 模型提供了参考数据。

2026-11-13 ~ 2026-11-13 · 2 条相关

另有 1 条近重复转述:maxigs0