研究者提出 SIVC：无需显式奖励函数也能复现 RLVR 的效果与问题

QuintinPope5 · x · 2026-10-13

Quintin Pope 提出一种假想方法 "Self Imitation from Verified Completions"（SIVC）：像 RLVR 一样收集轨迹并验证任务是否完成，但只在成功轨迹上做类似预训练的模仿学习，没有显式奖励函数。

他的核心论断是：SIVC 仍会有 RLVR 的大多数问题。原因在于，奖励函数对模型行为的塑造力，主要来自它能影响在线生成训练数据的未来分布——奖励高的行为会被更多采样、更多学习——而 SIVC 恰恰也具备这一机制（只保留成功轨迹就改变了训练数据分布），所以问题的根源不在显式奖励，而在这种在线数据分布的偏移。