新理论揭示 RLHF 覆盖坍缩隐患，策略正则化可解

arXiv 新论文《A Theory of Policy Optimization in Post-Training》由 Google DeepMind 等机构研究者历时一年完成，作者包括 Audrey Huang、Sham Kakade、Sadhika Malladi、Akshay Krishnamurthy、Dylan Foster 及江楠等。理论表明 REINFORCE 类策略优化存在「覆盖坍缩」问题，可把最优响应的概率压至近零，仅假设初始模型覆盖会导致收敛复杂度指数级爆炸；而近期的策略正则化转向可缓解该问题。

2026-11-11 ~ 2026-11-12 · 3 条相关

• 新理论揭示 RLHF 隐患：REINFORCE 会「覆盖塌缩」致指数级收敛慢 — nanjiang_cs · 2026-11-11
• 研究证明仅假设初始模型覆盖会导致 RLHF 复杂度指数爆炸，近期转向策略正则可解 — nanjiang_cs · 2026-11-11

另有 1 条近重复转述:gaotianyu1350