用小模型RL提升大模型
kastnerkyle · x · 2026-07-16
这条转发介绍了 Direct-OPD，核心问题是：RLVR 很强，但对每个更大的目标模型都重复做 rollout 成本太高，因为每个模型都要自己重新发现稀疏奖励中的学习信号。
作者提出一种替代思路：
- 先在小模型上做 RL，利用更便宜的探索与 rollout。
- 将小模型 RL 前后两个 checkpoint 当作一对教师，利用它们之间的差分来传递“学到的方向”。
- 目标不是直接蒸馏弱模型本身，而是把 RL 过程中形成的改进方向迁移给更强学生。
帖子还说明这项工作出自 SIA-Lab，是清华 AIR 与字节 Seed 的联合实验室。
「研究」频道最新
- 用小开源模型逆向工程游戏二进制:主 agent 中途重写子 agent 的 harness — yb2698 · 2026-10-26
- 作者：盼合同形式化成为连接 AI 与经济学的「MDP 时刻」 — xuanalogue · 2026-10-26
- 研究发现：前沿 LLM 常为私利单方面撕毁 AI 合同 — xuanalogue · 2026-10-26
- ContractSim：首个评估 LLM 自然语言合同谈判的框架 — xuanalogue · 2026-10-26
- Partial RoPE 研究：仅旋转 10% 维度即可逼近全 RoPE 收敛 — BlancheMinerva · 2026-10-26
- 133 位专利律师实验：同样用 AI，老手被增强、新人陷入认知卸载 — xiaohu · 2026-10-26