研究证明仅假设初始模型覆盖会导致 RLHF 复杂度指数爆炸，近期转向策略正则可解
nanjiang_cs · x · 2026-11-11
作者江楠（与 Sham Kakade、Sadhika Malladi、Akshay Krishnamurthy、Dylan Foster 等合作，历时一年）发布 RLHF/策略梯度理论新工作：
- 标准 PG 分析要求「全迭代覆盖」（π/πt 在每一步都有界）。他们证明若只在 t=0（即基座模型对所有 prompt 有非平凡成功率）假设覆盖，会因 coverage collapse（覆盖坍缩）导致优化复杂度指数级爆炸
- 解决方案：向最近的策略做正则化（而非固定基座参考），可避免该问题
- 并指出这与近期训练前沿模型（如 Kimi）所用的方法存在联系
对理解为什么 RLHF 后期训练普遍采用近端/迭代参考重置类正则有直接理论意义。
所属事件:新理论揭示 RLHF 覆盖坍缩隐患，策略正则化可解(3 条相关)→
「研究」频道最新
- 开源个性化 mRNA 癌症疫苗设计:为胰腺癌患者 Yash 而做 — xennygrimmato_ · 2026-11-12
- Georgia Tech 教授 Molei Tao 招收扩散语言模型方向博士生与博后 — gautamcgoel · 2026-11-12
- HF 研究员主张用效率增益指标取代最终 benchmark 分数 — eliebakouch · 2026-11-12
- 研究者提议:AI 进展评估应报告效率增益指标,而非只看最终跑分 — eliebakouch · 2026-11-12
- RoboCap-10k 发布：1 万小时带度量动作的开放式机器人数据集 — databoydg · 2026-11-12
- Google Research 用可穿戴设备做心血管-肾-代谢风险画像与个性化健康指导 — Google Research · 2026-11-12