双GPU下llama.cpp PCIe带宽实测
nick_ziv · reddit · 2026-07-12
这条帖子分享了在 **llama.cpp** 下做双 GPU 本地推理时的 PCIe 传输测量结果，目的是判断多卡是否可以通过 **1x riser** 连接而不明显拖慢性能。 ### 测试环境 - Ubuntu 24.04，单路 Xeon 主板 - 两张显卡：**RTX 3090 24GB**（250W）和 **Titan RTX 24GB**（225W） - 模型：**Qwen3.6-27B-UD-Q4_K_XL.gguf**，上下文长度 **180k** - 用 `nvidia-smi dmon -s t` 观察 PCIe 带宽 ### 结果对比 **Tensor parallel**： - decode/inference 期间有持续卡间传输 - decode 速度更高，约 **47 t/s** - prefill 速度较低，约 **650 t/s** **Pipeline parallel**（llama.cpp 默认）： - prefill 更快，约 **1250 t/s** - decode/inference 传输较低 - decode 速度约 **30 t/s** ### 结论 作者认为： - tensor parallel 更适合提升 decode - pipeline parallel 的 prefill 更接近单卡能力 - PCIe 3.0 x16 在这组测试里看起来没有被完全打满，因此使用 1x riser 可能可行