多GPU+NUMA配置显著影响训练速度
AsamiKai · reddit · 2026-07-14
这条帖分享了在一台特殊硬件配置上做 LoRA 训练时的性能观察：作者使用 5975WX CPU、四通道内存，以及两张 3080 20G GPU，没有 NVLink 或 ResizeBar，但可通过 PCIe 下的 NCCL 通信。 ### 影响速度的关键项 - `gloo` / `nccl` - `train_batch_size` 与 `gradient_accumulation_steps` - **NUMA 节点设置**：这是作者认为影响最大的项 ### 实测结果 - NUMA 节点数设为 **4** 时，训练速度约 **25s/it** - NUMA 节点设为 **0** 时，速度提升到约 **12s/it** 作者解释，这台机器上 NCCL 经 PCIe 走数据、再叠加跨 NUMA 的 CPU 通信，会带来明显延迟；GPU 常处于等待数据的空转状态。也因此，在这种高通信延迟场景里，GPU 的训练速度对不同功耗限制几乎不敏感，适当降低 GPU 功耗反而可能更省钱。