Qwen 本地推理的 NUMA 性能实测
SatisfactionSuper981 · reddit · 2026-07-17
楼主在对比 vLLM、ktransformers 等方案在 NUMA 系统上的推理表现，并指出这些方案在 GPU offloading 和 NUMA 支持上仍有不足。 他分享了自己为 Qwen 3.5 专门写的推理引擎，特点包括： - KV cache 全放 GPU - dense 和 shared expert 也放 GPU - 支持从 CPU 做部分 offload 的实验 在自己的双路 Xeon 6226 机器上，他给出了多组吞吐数据： - Qwen 3.5 35B：decode 约 45 t/s，Nmoe 可到 71 t/s - Qwen 3.5 122B：decode 约 20–40 t/s，取决于引擎 - Qwen 3.5 397B：CUDA OOM 后仍可在 CPU 跑到约 15–17 t/s 帖子核心是想和社区交流 NUMA + GPU offloading 的真实性能上限。