实测 HuggingFace Jobs 跑 GRPO:改一处代码每步快 40%
FerdinandMom · x · 2026-11-18
作者在 Hugging Face Jobs 上用 AsyncGRPO + LoRA 训练 Qwen3-30B-A3B(3 个 vLLM Job + 2 个 trainer Job)时发现:Job 内 GPU 走 NVLink,Job 之间只有 TCP。同样的 GPU 和模型,仅改一处代码(后续揭示为改用 HSDP),每个训练步耗时即减少 40%。这条线程逐步拆解原因与修复方案。
所属事件:HuggingFace Jobs 实测:HSDP 替代 FSDP 让 GRPO 训练提速 40%(3 条相关)→
「Infra」频道最新
- 英伟达投资网图流出:5000 亿平台零成交,AI 交易泡沫争议升温 — GaryMarcus · 2026-11-18
- 跨节点训练慢的真凶:61GB 基座模型被迫走 15GB/s 的 TCP — FerdinandMom · 2026-11-18
- 网友晒英伟达全家桶 GPU 合影:堪称「万亿美元收藏」 — LinusEkenstam · 2026-11-18
- 软件工程师推理工程实战指南:何时弃用 lab API — mikeflache · 2026-11-18
- Starlink 十一年建成最大卫星星座:在轨超 11100 颗、用户 1360 万 — XFreeze · 2026-11-18
- 英伟达前销售高管卷入芯片走私调查,或被约谈 — steph_palazzolo · 2026-11-18