实测 PCIe 3.0 x1 跑双卡 tensor split:推理仅需约 100MB/s 并非瓶颈
Introvertosaurus · reddit · 2026-10-27
作者此前被告知第二张 GPU 走 PCIe 3.0 x1 会是严重瓶颈,建议先换主板。他用 x1 延长线实测后得出相反结论。
家用配置实测:i5-14400F + 2× RTX 3060 12GB(共 24GB),llama.cpp 跑 Gemma 31B Q5。从 layer split 换成 tensor split 后,即使一张卡只挂在 x1 上,速度也从 14 t/s 提升到 20 t/s(+42%)。
租用 2× RTX 5060 Ti 上的带宽测量:跑 L3.1 Nemotron Sunfall 71B IQ3XS、2k 上下文、开 Flash Attention时,tensor split 相比 layer split 生成速度从 11.7 提到 20.7 t/s(+77%,prompt processing 从 591.8 降到 464.4 t/s)。用 nvidia-smi dmon 监控显示,解码期间每张卡的 PCIe 双向流量稳定在约 90–110 MB/s,远低于 PCIe 3.0 x1 单向约 985 MB/s 的理论上限;只有模型加载时峰值超 4000 MB/s,x1 会多花几秒。
结论:对中低端 GPU 的 tensor split 推理,x1 带宽不是瓶颈,升级主板或牺牲 NVMe 槽位很可能没必要。作者也说明局限:租用卡并非跑在 x1 上,平均吞吐不能反映延迟与同步开销。
「Infra」频道最新
- 数字主权已成云架构决策：AI 管道让数据主权更难守住 — DavidLinthicum · 2026-10-27
- 后摩 M.2 AI 加速卡宣称 160 TOPS，实测仅见 27B 模型 14 tokens/s — lazy-kozak · 2026-10-27
- TRL AsyncGRPOTrainer 树注意力支持线性注意力,提速最高 3.46x — SergioPaniego · 2026-10-27
- 实测：Qwen3 27B 配 Dflash2，草稿模型用 Q4 量化提速最明显 — milpster · 2026-10-27
- 数据中心成为 2026 美国选举焦点，科技超级 PAC 已砸 4500 万美元 — The Verge AI · 2026-10-27
- Meta 从 Nvidia 获 30 亿美元，还将加购更多 Nvidia 芯片 — The Decoder · 2026-10-27