SIS让离策略token回到on-policy
burny_tech · x · 2026-07-12
- 这篇论文提出 **SIS**，目标是解决 LLM 强化学习里“复用 rollout 但策略已变化”的问题。 - 核心做法不是只对离策略比率做裁剪，而是**逐个 token 进行检测**：如果当前模型仍会采样出这个 token，就把它当作 on-policy；否则再走常规修正。 - 作者称，这样可以把一部分原本被视为离策略的 token 重新纳入 on-policy 训练。 - 把 SIS 接到 **GRPO、DAPO、GSPO** 后，在数学任务和 agentic search 上都有改进，并且在**陈旧 rollout** 和 **MoE 不匹配** 场景下训练更稳定。