研究者警告：RLVR 激进探索会让 LLM 退化，奖励只监督极小部分知识

micahgoldblum · x · 2026-10-13

研究者 Micah Goldblum 在系列推文中指出，传统 RL 从零训练模型时高奖励意味着好模型，但 LLM 的 RLVR（可验证奖励强化学习）不同：模型已预训练，奖励只监督模型知识中极小的一部分，模型即使忘掉维基百科的大部分内容仍能拿到高奖励。

他进一步指出，激进的探索会损害模型——探索算法会把模型引向各种解，常常试到糟糕的解、偶尔撞上金矿；由于奖励只监督一小部分知识，从退化中恢复的代价很高。