混合 GPU 跑 35B 性能暴跌
alchninja · reddit · 2026-07-15
作者在一台 Ryzen 5700X、32GB 内存、RTX 5070 Ti 16GB 以及新增的 RTX 3060 12GB 机器上，尝试把 **Qwen3.5 35B-A3B** 跑在混合 GPU + CPU 环境中。 他原本用单卡跑 **35B Q6_K_XL**（带 `-ncmoe 30`，V 量化为 Q8）还能达到大约 **750pp / 55tg**，速度足够日用；但在加入第二张卡后，为了争取更长上下文和 MTP，改成 `-ncmoe22`、两卡都只剩约 512MB 余量，结果性能暴跌到 **130~pp / 5tg**。他尝试过不同 split 模式和不影响模型“智力”的设置，仍然达不到自己需要的 **600pp / 30-35tg**，因此询问是否是配置方式有问题。