混合精度+混合加速器采样器跑 RL，配合 off-policy 校正稳定收敛且更省成本
xiuyu_l · x · 2026-10-14
nanjiangwill 发长文（与 Modal 合作实验）提出：用不同精度（MXFP8、MXFP4、NVFP4）或不同加速器上的采样器做 RL rollout，本质上就是 off-policy 样本——与全异步 RL 中的过期样本同理，而 off-policy 校正并不关心采样器与训练器为何不同。
要点：
- 传统 RL 训练锁定同构最新加速器集群，只为数值稳定和吞吐，浪费了推理侧在多代硬件上的优化成果，限制可用算力且成本高。
- 他们用全异步 RL + 混合精度、混合加速器采样器在 agentic coding 任务上训练模型，通过 off-policy 校正，训练稳定收敛，效果与同构采样器持平，但成本更低。
- 论点：采样器与训练器本就是为不同目的设计的两套系统，推理侧算力多样化趋势下，应把闲置算力利用起来做 RL rollout，可能催生更简洁的系统设计与新 RL 算法。
作者预告下一篇将讲 infra 细节。
所属事件:混合精度混合加速器跑 RL 训练更省成本且稳定收敛(2 条相关)→
「Infra」频道最新
- Serverless 工具调用可降 agent 成本 30 倍:单沙箱并行跑 1000 个 agent — madhavsinghal_ · 2026-10-14
- 美银上调全球存储市场预测：2030 年达 2 万亿美元 — Beth_Kindig · 2026-10-14
- Ayar Labs 联合 Wiwynn/GUC 现场演示光互连集成计算系统 — bookwormengr · 2026-10-14
- AnythingLLM 弃用 Ollama 转向 Lemonade:引擎体积从 1.8GB 降到 137MB — jfowers_amd · 2026-10-14
- Gavin Baker 回应泡沫论：部分 AI 交易确是假的，1.4 万亿口径存疑 — GavinSBaker · 2026-10-14
- 单张 A100 跑出 12 万 tokens/秒，Argon 优化 Gemma 实现 2.9 倍提速 — osanseviero · 2026-10-14