HuggingFace Jobs 上跑 GRPO:FSDP 默认让每卡只存 1/4 层再 all-gather
FerdinandMom · x · 2026-11-18
作者在 Hugging Face Jobs 上测试 Qwen3-30B-A3B 的 AsyncGRPO + LoRA(3 个 vLLM Job + 2 个 trainer Job),解释 FSDP 的工作方式:每张 GPU 只存每层的 1/4,计算某层前各卡 all-gather 拼出完整层,算完再丢弃;Job 内走 NVLink,Job 间只有 TCP。
「Infra」频道最新
- 英伟达投资网图流出:5000 亿平台零成交,AI 交易泡沫争议升温 — GaryMarcus · 2026-11-18
- HSDP 比 FSDP 快 40%:异步 GRPO 训练 Qwen3-30B 拓扑实测 — FerdinandMom · 2026-11-18
- 改一行代码训练提速 40%:HSDP 让 all-gather 留在 NVLink — FerdinandMom · 2026-11-18
- 跨节点训练慢的真凶:61GB 基座模型被迫走 15GB/s 的 TCP — FerdinandMom · 2026-11-18
- 实测 HuggingFace Jobs 跑 GRPO:改一处代码每步快 40% — FerdinandMom · 2026-11-18
- 软件工程师推理工程实战指南:何时弃用 lab API — mikeflache · 2026-11-18