新论文揭示 RLVR 训练熵崩溃根源：采样器不匹配
joecole · x · 2026-11-02
一篇 arXiv 论文《A Sign Law for Entropy Drift under Sampler Mismatch in RLVR》解释了推理模型后训练中熵随机崩溃或爆炸的「玄学」现象。
- 核心结论：实践中几乎没人从原始策略采样，大家都在用 top-k、top-p、min-p 或调温度，这种 sampler mismatch（采样器不匹配） 会让本不该影响熵的优势基线偏移产生系统性熵漂移，漂移方向由采样器决定（正负号定律）。
- 经典反例得到解释：把超过 token 上限的回复 mask 掉会让熵骤降，而把它们标记为失败则会让熵飙升——两种做法把熵推向相反方向。
- 实验发现：token 重要性比率贡献了 98% 的漂移；四个被截断的 minibatch 更新就能让 per-batch 偏差放大七倍；100 步运行中，per-zero 基线只会延迟熵爆炸。
- 修复方案：每步取消一阶漂移可以在不改变学习器的情况下把熵限制住；在一个 9B 推理模型上，对未修正运行做 net advantage 置零或学习器重归一化，十步内把 held-out 准确率提升 8.2 和 8.8 个百分点。
「研究」频道最新
- HalachaBench 引发争论：用塔木德律法考模型是知识还是推理？ — teortaxesTex · 2026-11-02
- Sebastian Raschka 免费放出 11 小时推理模型从零构建视频课 — AxSaucedo · 2026-11-02
- 微软与伯克利开源 TokenEconomizer，让编码 Agent 省 18-31% Token 成本 — victor_explore · 2026-11-02
- TLA-Verus:用 LLM 智能体自动证明 TLA+ 规约的时序性质 — tianyin_xu · 2026-11-02
- 有人指出 J-Lens 本质只是一阶泰勒展开,质疑官方博客为何不提 — burny_tech · 2026-11-02
- Mollick:ARC-AGI 等大基准已饱和,SemiAnalysis 专家级评测路子对了 — emollick · 2026-11-02