HSDP 比 FSDP 快 40%:异步 GRPO 训练 Qwen3-30B 拓扑实测
FerdinandMom · x · 2026-11-18
作者在 Hugging Face Jobs 上实测异步 GRPO + LoRA 训练 Qwen3-30B-A3B(基于 TRL AsyncGRPOTrainer,3 个 vLLM Job 生成 rollouts,训练器跑在跨两个 Job 的 4 张 H200 上),发现把 FSDP 换成 HSDP 后每步耗时减少 40%,tokens/s 提升 1.67 倍。
- 原因:同一 Job 内 GPU 走 NVLink,跨 Job 只能走 TCP;FSDP 需要在 GPU 间反复搬运权重,HSDP 把这部分流量留在 Job 内部。
- 改动几乎零成本:用 transformers.distributed 一行切换——DistributedConfig(fsdpsize=4) 改为 DistributedConfig(fsdpsize=2, dpreplicatesize=2)。
- 完整代码与结果开源在 GitHub(hf-jobs-fsdp-hsdp),含 gateway、launch、train 等脚本,可直接复现。
所属事件:HuggingFace Jobs 实测:HSDP 替代 FSDP 让 GRPO 训练提速 40%(3 条相关)→
「Infra」频道最新
- 英伟达投资网图流出:5000 亿平台零成交,AI 交易泡沫争议升温 — GaryMarcus · 2026-11-18
- 跨节点训练慢的真凶:61GB 基座模型被迫走 15GB/s 的 TCP — FerdinandMom · 2026-11-18
- 实测 HuggingFace Jobs 跑 GRPO:改一处代码每步快 40% — FerdinandMom · 2026-11-18
- 网友晒英伟达全家桶 GPU 合影:堪称「万亿美元收藏」 — LinusEkenstam · 2026-11-18
- 软件工程师推理工程实战指南:何时弃用 lab API — mikeflache · 2026-11-18
- Starlink 十一年建成最大卫星星座:在轨超 11100 颗、用户 1360 万 — XFreeze · 2026-11-18