跨节点训练慢的真凶:61GB 基座模型被迫走 15GB/s 的 TCP
FerdinandMom · x · 2026-11-18
作者定位跨节点 LoRA 训练慢的原因:默认 FSDP 下每个 GPU 只存每层的 1/4,计算前需 all-gather 完整层;而跨 Job 只有 TCP(实测最高约 15GB/s),61GB 的冻结基座模型每个 micro-batch 都要跨节点 all-gather,成为瓶颈。
「Infra」频道最新
- 英伟达投资网图流出:5000 亿平台零成交,AI 交易泡沫争议升温 — GaryMarcus · 2026-11-18
- HSDP 比 FSDP 快 40%:异步 GRPO 训练 Qwen3-30B 拓扑实测 — FerdinandMom · 2026-11-18
- 改一行代码训练提速 40%:HSDP 让 all-gather 留在 NVLink — FerdinandMom · 2026-11-18
- HuggingFace Jobs 上跑 GRPO:FSDP 默认让每卡只存 1/4 层再 all-gather — FerdinandMom · 2026-11-18
- 实测 HuggingFace Jobs 跑 GRPO:改一处代码每步快 40% — FerdinandMom · 2026-11-18
- 软件工程师推理工程实战指南:何时弃用 lab API — mikeflache · 2026-11-18