拒绝采样将接受的Token视为on-policy样本的训练方法

heghbalz · x · 2026-07-08

研究者转发了一项技术方法：通过拒绝采样将模型已接受的token视为on-policy样本，从而在训练过程中更高效地利用模型自身生成的数据进行策略优化。该思路为语言模型强化学习训练提供了一种数据效率更高的路径，附有论文链接与技术细节。