双卡 L40S 部署 Qwen 实测:TP 优于 PP

近日有开发者在 Proxmox 虚拟化环境中,将两张无 NVLink 的 Nvidia L40S 显卡直通给 Ubuntu,实测了 Qwen3.6-35B-A3B-FP8 模型的多卡部署性能。对比测试结果显示,在使用双卡推理时,张量并行(TP)的运行速度优于流水线并行(PP)和数据并行(DP),为缺乏 NVLink 的硬件环境提供了部署参考。

2026-07-29 ~ 2026-07-29 · 2 条相关