研究者称预训练可视为 RL 的退化特例，数据驱动方法被 RL 统摄

QuintinPope5 · x · 2026-10-13

Anthropic 研究员 Quintin Pope 提出观点：可以把预训练本身看作 RL 的一种退化特例——离线、对每条"轨迹"施加固定且相等的模仿强度。他在前文中主张，即使没有显式奖励函数，这类方法仍会带有 RLVR 的大部分问题，因为奖励函数对模型行为的主要杠杆来自其影响在线生成训练数据未来分布的能力，而 SIVC（自我模仿价值条件化）同样具备这一点。由此他推断："配合合适数据的 RL"某种意义上涵盖了所有基于数据向模型灌输行为的方法。