随机舍入让 BF16 强化学习后训练收敛速度追平 FP16
heghbalz · x · 2026-11-13
一条关于 RL 后训练数值精度的技术线程:作者发现,如果把 FP32 shadow weights 用随机舍入(stochastic rounding)转成 BF16,BF16 RL 后训练的收敛速度可以和 FP16 一样快;而相同学习率下,普通 BF16 会明显滞后——即使训练与推理后端产生比特级一致的 logprobs 也无法弥补。
要点:
- BF16 低精度训练 RL 的主要瓶颈在权重更新的舍入误差,而非前后端数值不一致
- 随机舍入是让 BF16 用于 RL post-training 的可行路径,可降低显存/带宽成本
- 对做大模型 RL 训练的工程团队有直接参考价值
「Infra」频道最新
- 黄仁勋亲笔签名的 NVIDIA DGX 到货，Meta 工程师晒图 — iaindunning · 2026-11-13
- 微软专利曝光：闲置时让 AI 用你的 GPU 训练并付钱 — markjeffrey · 2026-11-13
- 曝美司法部对英伟达发起反垄断调查 — GaryMarcus · 2026-11-13
- 独家：Alice Huang 旗下公司投资 DeepSeek，承诺供应黑市 Blackwell 芯片 — asusarla · 2026-11-13
- AI 主权争论该降温:买 GPU 放自家地皮不等于真主权 — schwarzjn_ · 2026-11-13
- Berkeley 提出 Population Serving:把推理流量变成免反向传播的训练资源 — LChoshen · 2026-11-13