Explore Broadly, Reason Sharply: Push Small Models toward the Frontier via Sampling
Panagiotis Theodoropoulos, Nan Jiang, Xintong Duan, Ali Hasan, Yuriy Nevmyvaka, Evangelos A. Theodorou, Wei Deng
cs.LG
2026-09-30
多条不同锐化程度的采样链并行生成、互相交换轨迹,PPT 免训练免奖励,15 项设置全最优,9B 模型 GPQA 反超 GPT-5。
给推理模型做 RL 后训练(GRPO 这类)的代价已经清楚:要一个能打分的 verifier 或 reward model,要做昂贵的梯度更新;只对一小撮有奖励的任务优化,还会侵蚀模型原有能力,泛化呈锯齿状(jagged)。开放式科研、长程规划这类任务干脆没有可靠奖励。
另一条路线不动参数:power-sharpened sampling,把模型对完整回答的概率取 α 次方再归一化,从这个更「尖」的分布里采样。赌注是好的推理轨迹本来就在 base model 里,采样策略把它们挖出来即可。但单一 α 是结构性两难:α 大,采样器困在「看着顺、其实错」的局部轨迹里;α 小,答案分布摊得太开,产出质量不稳。实测同样难看,Qwen3.5-9B 上单链 Power Sampling 在多数基准掉到标准解码以下。
PPT(Parallel Power Tempering)把统计物理里的 parallel tempering 搬到序列级采样,核心是多档锐化、整体交换:
论文还修掉先前实现的一个 bug:截断偏差。早停实现里,提议只能把回答改短、不能改长,反向概率为零,但实现用截断到候选端点的 token 分数算接受率,会错误放行这种单向变短。由此产生不可补偿的概率流向短记录,作者证明了渐近偏差下界的存在,parallel tempering 本身救不回来。修法是固定视野:EOS 之后用确定性 padding 补到上限 T,重采样起点落在旧 EOS 之前就能越过它继续生成。这个构造下每个 MH 步都精确保持目标分布。
阶梯设计上,相邻链的交换接受率应大致相等,否则最弱的一对成为整条梯子的通信瓶颈;实践上先用几何阶梯初始化,再按实测接受率微调。
Qwen3-8B,Pass@1(%):
| 方法 | MATH500 | GPQA | AIME 24&25 | LCB v5 |
| 标准解码 | 83.9 | 55.8 | 72.7 | 48.1 |
| Power Sampling | 82.2 | 57.6 | 73.3 | 53.5 |
| GRPO | 86.4 | 53.0 | 74.0 | 54.1 |
| PPT | 88.0 | 60.1 | 78.3 | 58.4 |
15 个模型×基准设置里 PPT 全部最优或并列最优,唯一并列在已饱和的 GSM8K。GRPO 在 GPQA 上 53.0,低于标准解码的 55.8,是 RL 后训练掉能力的直接样本。换到更强的 Qwen3.5-9B:
| 方法 | GPQA | AIME 24&25 | LCB v5 |
| 标准解码 | 82.4 | 82.3 | 81.9 |
| GPT-5(报告值) | 85.4 | 95.0 | 84.6 |
| Opus 4.5(报告值) | 86.6 | 93.3 | 87.1 |
| GLM 4.7(报告值) | 85.9 | 95.0 | 89.4 |
| PPT | 85.9 | 93.3 | 84.9 |
GPQA 上追平 GLM 4.7、超过 GPT-5,LCB v5 也高于 GPT-5,AIME 落后 GPT-5 约 1.7 分。一个 9B 开源模型靠解码策略打到这个位置,是全文最抓人的数字。
两个对照把增益来源钉死。算力对齐(把单链的 MCMC 步数加到与多链相同的解码量)后,PPT 在 LCB v5、AIME 上仍领先 3.5 和 3.0 分;把同样 K 条链解耦、不做交换,所有设置的 Pass@1 和多数投票一致变差。增益来自交换机制,不是多跑几条链。链数收益在 K=4–5 走平,K=4 比单链高 2.7 和 3.9 个百分点;多链批量执行下,K=4 总算力只有单链的 2.1 倍(MATH500)和 1.2 倍(HumanEval)。交换本身每题 0.037 秒、约占总时间 0.1%;每题局部更新时间从 0.86 秒涨到 3.21 秒(8B,K=4),9B 的峰值 KV cache 从 43.8 GiB 涨到 75.4 GiB。
这是一条纯推理期的免训练增强:模型冻结、没有奖励信号也能用,正好覆盖 RL 后训练够不着的开放式任务。对「base model 比你以为的聪明」这条研究线,它给出了目前最完整的机制、偏差修正和对照实验。也要直说:它是拿推理算力换精度,时延敏感的线上服务不是它的场景,离线批量推理和高价值单次调用才是。
作者自认:收敛保证是渐近性的,收缩系数 ε 是最坏情形界、可能极小,定理不保证实际预算内误差小;前沿对比用的是报告值而非同条件复跑;只测了 Qwen3 系列 4B–9B。
另有几点存疑。幂次目标拿 base model 似然当质量代理,似然与正确性脱钩的任务上没有保证;整条论证压在「能力已潜伏在模型里」这个假设上,base model 拿不出的轨迹,锐化变不出来。GRPO 基线的训练算力如何对齐,正文未披露,「胜过 RL」的含金量取决于此。推理时间与显存的成倍增长,也决定了它离日常低成本部署还有距离。