论文揭示「覆盖坍缩」：RL 训练会让 LLM 忘掉最优答案
burny_tech · x · 2026-11-14
alphaXiv 解读论文《A Theory of Policy Optimization in Post-Training: Coverage Collapse and Reference Resets》,指出一个反直觉现象：RL 可能让 LLM 逐渐遗忘如何生成最好的答案，即使平均奖励仍在持续上升。
论文将这一现象命名为覆盖坍缩(coverage collapse):策略优化会缓慢降低生成最优响应的概率，使这些答案在训练中越来越难以被重新发现。
对策是提出 APMD(Approximate Policy Mirror Descent):反复把 KL 参考点重置为最新模型，而非始终锚定原始基座模型，从而在持续逼近更优解的同时保持受控改进。参考重置对简化版 PPO、GRPO 及 Kimi 风格算法同样提供更强的收敛保证。
「研究」频道最新
- NYU Courant 成立数学与 AI 中心,Bruna 和 Vicol 联合执掌 — kchonyc · 2026-11-14
- mariofilho:基准测试应强制使用帕累托图呈现 — mariofilhoml · 2026-11-14
- MIT 打造 AI「机械师」：可解读并修改其他神经网络的黑箱内部 — marinkazitnik · 2026-11-14
- 仅重接 47 个神经元即可让 Qwen 陷入涌现失对齐并可视化追踪 — maxsloef · 2026-11-14
- Antithesis 苦战 8 年达成 NetHack Ascension：80% 种子 5 分钟内通关 — spikedoanz · 2026-11-14
- 仅 5.46M 参数触觉模型 LingBot-Touch,让机械手穿吸管翻书页 — Puzzleheaded-Buy3008 · 2026-11-14