斯坦福论文：bf16 舍入悄悄丢弃大部分 RL 更新，一行代码修复
_AndrewZhao · x · 2026-11-02
arXiv 论文《bf16 Rounding Silently Discards Most RL Policy Updates》揭示了 LLM 强化学习后训练中一个隐藏的训练-推理不匹配问题。
问题：RL 训练中优化器持有 fp32 主权重，而推理引擎用 round-to-nearest 转换出的 bf16 副本生成 rollout。在常用学习率下，大部分单步更新小于半个 bf16 间距而被直接丢弃：在 Qwen3-1.7B 上每步仅 0.4–0.5% 的 served 权重发生变化，采样策略落后优化器 50–150 步。现有不匹配修正方法检测不到这种滞后，因为它们比较的都是同一舍入下游的两份副本。
修复（Fair Cast）：导出主权重时改用无偏舍入（随机舍入或误差反馈），并在 served 副本上计算训练损失。改动只在导出处一行代码，无新增超参，1.7B 参数每次导出仅增加 22–38ms。
结果：在 Qwen3-0.6B–4B 上用 AdamW 和 Muon 跑 25 组配对种子，Fair Cast 18 胜 6 平 1 负，平均提升 6.1 分；zebra puzzles 上达 0.57±0.16，而 round-to-nearest 崩至 0.33±0.10。代码已开源。
「研究」频道最新
- GPT-6 直接改写 Qwen 权重:仅动 0.016% 参数数学能力提升至 6 倍 — CSProfKGD · 2026-11-03
- 研究者实测泼冷水:LLM 权重编辑只能修 bug,无法提升推理上限 — 1a3orn · 2026-11-03
- AI 智能体给活体小鼠大脑成功注射基因药物 — ChuckDBrooks · 2026-11-03
- 经济学论文致谢 Claude Opus 5.5、GPT-6 和 Gemini Argon 4 — soumitrashukla9 · 2026-11-03
- yoavgo:基于权重解读网络的实验令人印象深刻,从零写权重反而一般 — yoavgo · 2026-11-03
- 3D World Simulator 发布：统一预测外观几何触觉，RTX 5090 上跑 50+ FPS — YunzhuLiYZ · 2026-11-03