用小模型RL提升大模型
kastnerkyle · x · 2026-07-16
这条转发介绍了 Direct-OPD，核心问题是：RLVR 很强，但对每个更大的目标模型都重复做 rollout 成本太高，因为每个模型都要自己重新发现稀疏奖励中的学习信号。
作者提出一种替代思路：
- 先在小模型上做 RL，利用更便宜的探索与 rollout。
- 将小模型 RL 前后两个 checkpoint 当作一对教师，利用它们之间的差分来传递“学到的方向”。
- 目标不是直接蒸馏弱模型本身，而是把 RL 过程中形成的改进方向迁移给更强学生。
帖子还说明这项工作出自 SIA-Lab，是清华 AIR 与字节 Seed 的联合实验室。
「研究」频道最新
- VidMap 用 RoMa 粗匹配全帧、精细匹配仅限关键帧 — ducha_aiki · 2026-09-11
- Bug Hunt Bench 作者补充:榜单噪声幅度约 2-3 分 — PawelHuryn · 2026-09-11
- 台球计算模型登 PNAS:二维系统已存在不可判定性,可跑通用计算机 — eigensteve · 2026-09-11
- 新研究:从仿射变换与重力线索求解绝对位姿 — ducha_aiki · 2026-09-11
- LoMa 论文发布 REALLY HardPairs 数据集,入选 ECCV 2026 — ducha_aiki · 2026-09-11
- JHU 开设全栈机器人学习课:组装机械臂、采数训练部署一条龙 — _krishna_murthy · 2026-09-11