Modal 实证：采样器可跑六种混合精度加速器，RL 训练成本降约 15%
lmoroney · x · 2026-10-15
Modal 团队(Nan Jiang 等)在 agentic coding 任务上用全异步强化学习训练 Qwen3.6-35B-A3B,验证了一个关键问题：采样器能否脱离与训练器同构的硬件假设？
核心做法与结论：
- 采样器跑在六种加速器上(B200、B300、H100、H200、A100、RTX PRO 6000),使用 NVFP4、FP8、BF16 等多种精度和各自定制的 kernel;训练器则在 B200 上以 BF16 更新
- 通过 off-policy 校正(分数中心化、掩码重要性采样、top-p 掩码重放)把训练-推理失配控制在有界范围内
- 在 SWE-bench Pro V2 上，混合配置的表现与全 B200 同构运行基本一致，大部分训练过程中每个更新的采样成本约低 15%
由于采样已占大型 RL 运行 GPU 用量的 80-85%,这一成本空间相当可观。作者建议 RL 实验者列出自己采样器与训练器的所有失配点(精度、kernel、陈旧度)作为 off-policy 风险清单。
所属事件:Modal 实证异构混合精度异步 RL 训练可行且更省成本(7 条相关)→
「Infra」频道最新
- Modal 年化营收破 10 亿美元,融资 7.5 亿美元估值 157.5 亿 — charles_irl · 2026-10-15
- 前谷歌训练老兵复盘十年：从 Sibyl 一路做到 Gemini 预训练 — _arohan_ · 2026-10-15
- Gartner：2030年前80%新云将倒闭，4万亿美元资产面临减记 — SumitGup · 2026-10-15
- 推理初创集体爆发:Together 年订单 12 亿美元,Fireworks 破 10 亿 ARR — togethercompute · 2026-10-15
- 自建决策路由：5 次分类中 4 次留在本地模型的实测 — Smooth_Two8781 · 2026-10-15
- CoreWeave 债券收益率盘中触及 15.1%,收于 14.5% 历史新高 — asusarla · 2026-10-15