PIRL：先验证再更新的RL方法

jiqizhixin · x · 2026-07-20

研究者提出 PIRL（Policy Improvement Reinforcement Learning），核心是其 PIPO 方法：在每次策略更新后，先用验证步骤检查这次更新是否真的带来性能提升，再决定是强化推进还是抑制回退。

作者称，这种“闭环”式优化能把历史表现也纳入约束，减少训练中性能退化；在数学推理、代码和工具使用任务上，相比 PPO、GRPO 和自蒸馏取得了更稳定的提升。帖子同时给出论文、代码和报告链接。