跨节点 LoRA 训练慢根因:61GB 模型走 15GB/s TCP,改用 HSDP 提速
作者定位跨节点 LoRA 训练缓慢的根因:默认 FSDP 下每卡只存每层的 1/4,计算前必须 all-gather 完整层,而跨 Job 之间仅有 TCP 互联,实测带宽最高约 15GB/s,61GB 的基座模型参数被迫经此传输。解决思路是优化通信拓扑,改用 HSDP 让 all-gather 留在高速 NVLink 域内,仅一处代码修改后每步耗时减少 40%,token 吞吐提升 1.67 倍。
2026-11-18 ~ 2026-11-18 · 2 条相关
- 跨节点训练慢的真凶:61GB 基座模型被迫走 15GB/s 的 TCP — FerdinandMom · 2026-11-18
- 改一行代码训练提速 40%:HSDP 让 all-gather 留在 NVLink — FerdinandMom · 2026-11-18