HuggingFace Jobs 上跑 GRPO:FSDP 默认让每卡只存 1/4 层再 all-gather

FerdinandMom · x · 2026-11-18

作者在 Hugging Face Jobs 上测试 Qwen3-30B-A3B 的 AsyncGRPO + LoRA(3 个 vLLM Job + 2 个 trainer Job),解释 FSDP 的工作方式:每张 GPU 只存每层的 1/4,计算某层前各卡 all-gather 拼出完整层,算完再丢弃;Job 内走 NVLink,Job 间只有 TCP。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →