跨节点训练慢的真凶:61GB 基座模型被迫走 15GB/s 的 TCP

FerdinandMom · x · 2026-11-18

作者定位跨节点 LoRA 训练慢的原因:默认 FSDP 下每个 GPU 只存每层的 1/4,计算前需 all-gather 完整层;而跨 Job 只有 TCP(实测最高约 15GB/s),61GB 的冻结基座模型每个 micro-batch 都要跨节点 all-gather,成为瓶颈。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →