用小模型RL提升大模型
kastnerkyle · x · 2026-07-16
这条转发介绍了 **Direct-OPD**，核心问题是：RLVR 很强，但对每个更大的目标模型都重复做 rollout 成本太高，因为每个模型都要自己重新发现稀疏奖励中的学习信号。 作者提出一种替代思路： 1. 先在**小模型**上做 RL，利用更便宜的探索与 rollout。 2. 将小模型 **RL 前后两个 checkpoint** 当作一对教师，利用它们之间的差分来传递“学到的方向”。 3. 目标不是直接蒸馏弱模型本身，而是把 RL 过程中形成的改进方向迁移给更强学生。 帖子还说明这项工作出自 **SIA-Lab**，是清华 AIR 与字节 Seed 的联合实验室。