HSDP 比 FSDP 快 40%:异步 GRPO 训练 Qwen3-30B 拓扑实测

FerdinandMom · x · 2026-11-18

作者在 Hugging Face Jobs 上实测异步 GRPO + LoRA 训练 Qwen3-30B-A3B(基于 TRL AsyncGRPOTrainer,3 个 vLLM Job 生成 rollouts,训练器跑在跨两个 Job 的 4 张 H200 上),发现把 FSDP 换成 HSDP 后每步耗时减少 40%,tokens/s 提升 1.67 倍。

所属事件:HuggingFace Jobs 实测:HSDP 替代 FSDP 让 GRPO 训练提速 40%(3 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →