改一处代码提速40%:HuggingFace Jobs跨节点GRPO训练拓扑实测
博主 FerdinandMom 在 HuggingFace Jobs 上用 TRL 的 AsyncGRPOTrainer 加 LoRA 训练 Qwen3-30B-A3B(3 个 vLLM Job 生成 rollouts、2 个 trainer Job 跨节点训练),实测发现只需改动一处代码即可让每步训练提速 40%、token 吞吐提升 1.67 倍,核心是审视通信拓扑而非算法本身。
已确认
- 训练设置:AsyncGRPO + LoRA,3 个 vLLM Job 负责生成,2 个 trainer Job 跨节点运行;Job 内 GPU 走 NVLink,Job 之间只有 TCP 连接,实测带宽最高约 15GB/s。
- 慢的原因:默认 FSDP 下每张 GPU 只存每层的 1/4,计算前需 all-gather 拼出完整层;这导致约 61GB 的冻结基座模型在每个 micro-batch 都要跨 Job 反复传输,卡在慢速 TCP 上。
- 解决方案:改用 HSDP,让 all-gather 通信留在 Job 内的 NVLink 上,跨 Job 的 TCP 只传输轻量的 LoRA 梯度与样本。
- 结果:每步耗时减少 40%,token 吞吐提升 1.67 倍。
为什么重要
- 该案例说明在多节点/多 Job 分布式训练中,通信拓扑(NVLink vs TCP、哪些张量走哪条链路)对性能的影响可能超过算法或框架层面的调参,一行配置改动即可带来显著收益。
- 对在 HuggingFace Jobs 等按 Job 划分资源、跨 Job 带宽受限的平台上跑 LoRA 微调大型基座模型的用户,具有直接的参考价值。
2026-11-18 ~ 2026-11-18 · 5 条相关
一手来源
- 实测 HuggingFace Jobs 跑 GRPO:改一处代码每步快 40% — FerdinandMom ·
- 改一行代码训练提速 40%:HSDP 让 all-gather 留在 NVLink — FerdinandMom ·
- 【源头】实测 HuggingFace Jobs 跑 GRPO:改一处代码每步快 40% — FerdinandMom · 2026-11-18
- HuggingFace Jobs 上跑 GRPO:FSDP 默认让每卡只存 1/4 层再 all-gather — FerdinandMom · 2026-11-18
- 跨节点训练慢的真凶:61GB 基座模型被迫走 15GB/s 的 TCP — FerdinandMom · 2026-11-18
- 【源头】改一行代码训练提速 40%:HSDP 让 all-gather 留在 NVLink — FerdinandMom · 2026-11-18
- HSDP 比 FSDP 快 40%:异步 GRPO 训练 Qwen3-30B 拓扑实测 — FerdinandMom · 2026-11-18