REINFORCE Zero:训练-推理不变性让异步 LLM RL 稳定跑满 2 万次更新
teortaxesTex · x · 2026-11-05
- 研究者提出 REINFORCE Zero：只要保持训练-推理不变性（Trainer–Inference Invariance, TII）并使用最简的重要性采样比率，纯 REINFORCE 就足以稳定训练 LLM 强化学习。
- 配方包含：不截断（unclipped）的 token 级 IS 比率、无拒绝门控（rejection gates）、极简 loss。
- 据作者称这是该配方的首个开源 2 万次更新（20K updates）演示：五基准 macro pass@1 从 40.29% 稳步升至约 51%，且 rollout-to-learner 的中位 KL 估计在 2 万次更新中保持接近零；作为对照，不带 TII 的异步 IS 方案 KL 在约 1.3 万次更新时膨胀 83 倍、训练崩溃。
- 结论被概括为「只要用对 kernel，REINFORCE is all you need」。
「研究」频道最新
- GameVerse 发布：分钟级游戏数据集攻长时程交互世界建模 — AlayaLab · 2026-11-05
- Solv3R：循环迭代 Transformer 统一求解多视角几何重建 — Jeong-gi Kwak · 2026-11-05
- 阿里 Qwen 团队发 SpecOPD：分支并行在线蒸馏加速投机解码 — Qwen · 2026-11-05
- KAIST 提出 H2RB：人类演示直接迁移训练机器人 VLA 策略 — kaist-ai · 2026-11-05
- 墨尔本大学发布 VeriSpoof：一个音频 LLM 统一五项语音取证任务 — unimelb-hf · 2026-11-05
- 新预印本大规模量化大肠杆菌蛋白产量，构建产量预测器 — sokrypton · 2026-11-05