新理论揭示 RL 后训练的覆盖坍缩:REINFORCE 可将最优响应概率压至近零
gaotianyu1350 · x · 2026-11-12
Google DeepMind 等机构研究者(Audrey Huang、Sham Kakade、Sadhika Malladi、Akshay Krishnamurthy、Dylan Foster 等)发布 arXiv 论文《A Theory of Policy Optimization in Post-Training: Coverage Collapse and Reference Resets》,为 LLM 的 RL 后训练建立理论基础。
核心结论:
- 覆盖保持算法:给出了以基座模型响应覆盖度(response coverage,即基座生成最优回答的难易程度)决定样本与梯度步数的近优学习保证,把「后训练是放大基座可通过采样获得的能力」这一目标形式化。
- 覆盖坍缩:REINFORCE(PPO/GRPO 的基础)即使奖励在提升,也可能把最优响应的概率压到接近零;即使梯度精确、且加了 KL 正则,收敛仍可能需要指数级步数。
- 参考重置:反复把 KL 参考策略重置为最新策略可缓解覆盖坍缩。作者将其形式化为近似策略镜像下降(APMD)元算法,使每个 KL 正则子问题更易解,同时能收敛到全局最优。
这项工作把现代 RL 目标背后的启发式经验转化为可操作的算法设计原则,解释了基座模型质量为何决定后训练效果。
所属事件:新理论揭示 RLHF 覆盖坍缩隐患，策略正则化可解(3 条相关)→
「研究」频道最新
- CoRL 联合主席忆 2021 展区仅三张桌，对比 2026 规模感概行业巨变 — Ed__Johns · 2026-11-12
- 预训练原子模型筛选 1620 种组合，为单原子金属找稳定衬底 — bravo_abad · 2026-11-12
- Claude Fable 5.2 机器人实验被拿去吊打李飞飞 World Labs?作者称搞错了研究问题 — dotey · 2026-11-12
- Claude 数周产出 239 个形式化证明,验证 123 个开源库无崩溃 — kieranklaassen · 2026-11-12
- SynthICL：纯合成数据训练，单演示泛化 16 项真实操作任务 — Ed__Johns · 2026-11-12
- AI Agent 不跑模型直接改权重,1024 个数字让 MATH-500 从 7.4% 升至 37.4% — VictorSanh · 2026-11-12