改一处代码提速40%:HuggingFace Jobs跨节点GRPO训练拓扑实测

博主 FerdinandMom 在 HuggingFace Jobs 上用 TRL 的 AsyncGRPOTrainer 加 LoRA 训练 Qwen3-30B-A3B(3 个 vLLM Job 生成 rollouts、2 个 trainer Job 跨节点训练),实测发现只需改动一处代码即可让每步训练提速 40%、token 吞吐提升 1.67 倍,核心是审视通信拓扑而非算法本身。

已确认

为什么重要

2026-11-18 ~ 2026-11-18 · 5 条相关

一手来源