实测 HuggingFace Jobs 跑 GRPO:改一处代码每步快 40%

FerdinandMom · x · 2026-11-18

作者在 Hugging Face Jobs 上用 AsyncGRPO + LoRA 训练 Qwen3-30B-A3B(3 个 vLLM Job + 2 个 trainer Job)时发现:Job 内 GPU 走 NVLink,Job 之间只有 TCP。同样的 GPU 和模型,仅改一处代码(后续揭示为改用 HSDP),每个训练步耗时即减少 40%。这条线程逐步拆解原因与修复方案。

所属事件:HuggingFace Jobs 实测:HSDP 替代 FSDP 让 GRPO 训练提速 40%(3 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →