Modal 博客详解：混合精度混合加速器采样器跑 RL 的可行性与代价
lmoroney · x · 2026-10-15
Modal 研究员 Nan Jiang 发表博客「Toward RL on mixed-precision, mixed-accelerator samplers」。
- 动机：大型 RL 中采样占 GPU 用量 80-85%,但传统上采样器与训练器用同种加速器、同种精度以保持数值一致性；推理服务侧却早已用 FP8、MXFP4/NVFP4、定制 kernel 优化
- 方案：六种加速器、各自精度与 kernel 的采样器共同喂一个跑在 B200 上的 BF16 训练器
- 两大难题：学习侧，每种优化都会加大训练-推理失配、使样本更 off-policy、易使训练不稳定；需配合校正手段
与同作者的推文互为补充，提供了完整的工程细节与实验设定。
所属事件:Modal 实证异构混合精度异步 RL 训练可行且更省成本(7 条相关)→
「Infra」频道最新
- 前谷歌训练老兵复盘十年：从 Sibyl 一路做到 Gemini 预训练 — _arohan_ · 2026-10-15
- Gartner：2030年前80%新云将倒闭，4万亿美元资产面临减记 — SumitGup · 2026-10-15
- 推理初创集体爆发:Together 年订单 12 亿美元,Fireworks 破 10 亿 ARR — togethercompute · 2026-10-15
- 自建决策路由：5 次分类中 4 次留在本地模型的实测 — Smooth_Two8781 · 2026-10-15
- CoreWeave 债券收益率盘中触及 15.1%,收于 14.5% 历史新高 — asusarla · 2026-10-15
- 向 AI 供应商追问三个问题：算力归谁、谁出资、变更前有何通知 — YvesMulkers · 2026-10-15