Hugging Face 拆解 16 个开源 RL 库：异步解耦已成同步训练共识
Thom_Wolf · x · 2026-09-05
Hugging Face 团队发布长文《Keep the Tokens Flowing》，调研对比 16 个开源 RL（强化学习）训练库，总结异步 RL 训练管道的工程经验。Thom Wolf（前 NVIDIA）转发并透露其小团队已迁移到 Ray。
核心内容：
- 问题：同步 RL 训练中，数据生成（rollout 推理）主导墙钟时间——32B 模型一批 32K token rollout 可耗时数小时，训练 GPU 全程闲置
- 共识方案：推理与训练拆到不同 GPU 池，用 rollout buffer 连接，权重异步同步，双方互不等待
- 七个对比维度：编排原语、buffer 设计、权重同步协议、staleness 管理、partial rollout 处理、LoRA 支持、分布式训练后端
- 关键发现：Ray 主导编排（16 库中 8 个采用）；NCCL broadcast 是权重传输默认方案；staleness 管理从简单丢弃旧样本到重要性采样校正不等；LoRA 训练支持稀少
这是目前对开源 RL 基础设施最系统的一次横评，适合做 RL 训练/后训练的工程团队选型参考。
「Infra」频道最新
- RTX 5090 实测：NInfer、llama.cpp、vLLM 质量持平速度见分晓 — bengizmoed · 2026-09-05
- Omagrid P2P 算力网上线，Omarchy 机器直接共享 DeepSeek 与 Qwen — dee_hw · 2026-09-05
- 单张 RTX 3090 + 128GB 内存跑通 180B MoE：15.5 tok/s 生成实测配置 — cezarducatti · 2026-09-05
- RTX 3060 跑不动开源视频模型，转向云端后失去模块化的两难 — Suspicious_Pizza9529 · 2026-09-05
- Anthropic IPO 投资人追问单 token 收入与每吉瓦算力营收 — Hesamation · 2026-09-05
- Wan2GP 桌面启动器 Tauri 版:一键装好开源视频生成全家桶 — Extension_Affect_483 · 2026-09-05