小模型先探索再指导大模型
burny_tech · x · 2026-07-15
这篇论文提出 **PUST（Proxy Exploration and Reusable Guidance）**：传统 post-training 往往要让大模型自己做昂贵的 RL 探索，而 PUST 把探索过程转移给一个更小的 proxy 模型。 ### 核心思路 - 小模型先完成一次探索，学习到有用的更新方向 - 迁移到大模型时，传递的是“更新方向”，而不是 proxy 的最终分布 - 这样可以让小模型先搜索并缓存信号，再复用于更大的模型 ### 结果 - 方法可在数学和代码任务上带来提升 - 文中提到，使用 **Qwen3 4B** 产生的信号，可以明显增强 **Qwen3 8B** 的表现