PUST：用代理模型传递更新信号
KnowledgeXLab · hf · 2026-07-14
这篇论文提出一种新的后训练范式 Proxy-guided Update Signal Transfer (PUST)，目标是把“探索”与“分布对齐”解耦。
核心思路
- 不再让主模型直接承担昂贵探索，而是用一个轻量 proxy model 先搜索高奖励行为。
- 提取 proxy 优化前后的相对改进信号，再把这个方向性信号转移给主模型做 policy alignment。
主要收益
- 降低探索成本，支持异步生成、缓存和复用优化信号。
- 传递的是“相对改进”而不是绝对分布，因此天然支持 weak-to-strong improvement 和跨模型迁移。
实验结论
- 在 Qwen3-family 模型的数学与代码任务上做了系统评估。
- 结果显示：来自明显更弱 proxy 的更新信号，也能稳定地提升更强的主模型，而且可调节地改善性能。
作者把后训练从“单体在线优化”重构成了一个更模块化、可复用、成本更低的流程。
所属事件:新范式 PUST：小模型探索指导大模型训练(2 条相关)→
「研究」频道最新
- 3D ResNet 论文八年突破 3000 引用，Kinetics 数据集成里程碑 — HirokatuKataoka · 2026-09-11
- 把数据调度变成优化的一部分：样本选择与排序影响 LLM 训练 — Puzzleheaded_Box2842 · 2026-09-11
- Jeff Heaton《神经网络数学导论》开放免费完整下载 — blaizedsouza · 2026-09-11
- 数学家 Daniel Litt 上线问题库,15 题仅 1 题被解,用来追踪 AI 解题进度 — littmath · 2026-09-11
- AI 智能体协作优化 secp256k1 量子电路,挑战打破 ECDSA — StefanoGogioso · 2026-09-11
- Alex Townsend 汇编 200 个数值线性代数开放问题，供人类与 AI 攻关 — IgorCarron · 2026-09-11