Quintin Pope：RL 病理多源自在线训练，预训练是其退化特例

Anthropic 研究员 Quintin Pope 于 10 月 13 日连发多条帖子，提出一个关于 RL 与预训练关系的统一理论视角：RLVR 等在线 RL 方法的常见病理（熵崩塌、奖励 hack 等）主要来自「在线」训练本身，而非奖励函数的具体细节；预训练本身则可看作 RL 的一种退化特例——离线、对每条轨迹施加固定且相等的模仿强度。这一观点为理解当前训练方法的失效模式提供了新框架，值得关注。

已确认

• Pope 认为业界习惯把 RL 与在线训练绑定（模型先尝试轨迹、打分、再在尝试轨迹上训练），但他主张这类方法的大多数病理更多源自「在线」部分，而非奖励函数细节。
• 他提出 RL 本质上是模仿学习的一种形式，预训练可视为其退化特例：离线进行、每条轨迹的模仿强度固定且相等。
• 他认为即使没有显式奖励函数，这类方法仍会带有 RLVR 的大部分问题。
• 他设想了一种假想方法 SIVC（Self Imitation from Verified Completions）：像 RLVR 一样收集轨迹并验证任务是否完成，但只在成功轨迹上做类似预训练的模仿学习，无需显式奖励即可复现 RLVR 的效果与问题。
• 他还从更宏观角度论证：深度学习的核心经验是「在数据上训练」是灌输特定倾向或能力最有效的方法，因此基于 RL 的对齐很难被超越，甚至可能没有别的办法。

为什么重要

• 该视角将预训练、模仿学习与 RL 置于同一理论框架下，若成立，意味着改进方向应是审视「在线」训练机制本身，而非反复调优奖励函数。
• SIVC 作为思想实验，分离了「验证」与「奖励」两个环节，有助于社区定位 RLVR 病理的真正来源，对后续训练方法设计有参考价值。

2026-10-13 ~ 2026-10-13 · 5 条相关

• 【源头】研究者:RL 病理性多源自在线训练而非奖励函数 — QuintinPope5 · 2026-10-13
• 研究者提议:只模仿成功轨迹的「自 imitation」替代在线 RL — QuintinPope5 · 2026-10-13
• 【源头】研究者提出 SIVC：无需显式奖励函数也能复现 RLVR 的效果与问题 — QuintinPope5 · 2026-10-13
• 研究者称预训练可视为 RL 的退化特例，数据驱动方法被 RL 统摄 — QuintinPope5 · 2026-10-13
• 【源头】研究者:RL 对齐难被超越,预训练可视为退化的特例 — QuintinPope5 · 2026-10-13