新理论揭示 RLHF 隐患：REINFORCE 会「覆盖塌缩」致指数级收敛慢
nanjiang_cs · x · 2026-11-11
arXiv 论文《A Theory of Policy Optimization in Post-Training: Coverage Collapse and Reference Resets》（Audrey Huang、Nan Jiang、Sham Kakade、Sadhika Malladi、Akshay Krishnamurthy、Dylan J. Foster）研究后训练中策略优化理论，作者之一 nanjiangcs 总结核心发现：
- 覆盖塌缩：REINFORCE（PPO/GRPO 的基础）即使奖励在提升，也可能把最优响应的概率压到近零；仅假设初始时刻的覆盖（基础模型对多数 prompt 有非平凡成功率）时，收敛可能需要指数级步数。该失败在精确梯度下依然发生，KL 正则也无法阻止。
- 参考重置：反复将 KL 参考策略重置为最新策略可以缓解塌缩。作者将其形式化为 Approximate Policy Mirror Descent（APMD）元算法——求解一系列 KL 正则化 RL 子问题，允许更强正则化的同时保证收敛到全局最优。
- 论文刻画了「覆盖保持」算法类别：样本与梯度步数由基础模型的响应覆盖度决定，即真正放大基础模型采样可达的能力。
配图展示 REINFORCE 与 APMD 的收敛对比：REINFORCE 奖励长期平台期后跳升，覆盖度剧烈塌缩；APMD 平稳收敛。
所属事件:新理论揭示 RLHF 覆盖坍缩隐患，策略正则化可解(3 条相关)→
「研究」频道最新
- 开源个性化 mRNA 癌症疫苗设计:为胰腺癌患者 Yash 而做 — xennygrimmato_ · 2026-11-12
- Georgia Tech 教授 Molei Tao 招收扩散语言模型方向博士生与博后 — gautamcgoel · 2026-11-12
- HF 研究员主张用效率增益指标取代最终 benchmark 分数 — eliebakouch · 2026-11-12
- 研究者提议:AI 进展评估应报告效率增益指标,而非只看最终跑分 — eliebakouch · 2026-11-12
- RoboCap-10k 发布：1 万小时带度量动作的开放式机器人数据集 — databoydg · 2026-11-12
- Google Research 用可穿戴设备做心血管-肾-代谢风险画像与个性化健康指导 — Google Research · 2026-11-12