Beyond Repeated Sampling: Learning Search Policies for LLM Reasoning
Ismail Labiad, Matthieu Kowalski, Marc Schoenauer, Rémi Munos, Julia Kempe
cs.CL, cs.AI
2026-09-23
把概念生成做成可训练搜索策略：用 GRPO 训 7B 概念生成器去引导冻结的 Qwen2.5-32B。在 DeepMath 硬题上，同样 128 次作答预算，pass@128 从 19.0% 升到 39.2%。
测试时多花算力做难题，主流做法仍是反复采样：同一道题抽很多次，碰运气撞上一条对的。这种探索只靠解码噪声，温度和 top-p 抖出来的经常是近重复草稿，不是不同思路。
Handa 等人 2026 年的 GuidedSampling 想先采样「概念」（定理、策略、提示），再条件化作答。这篇在 MATH500 上把 Qwen2.5 的 5 个尺寸（1.5B 到 32B）跑满 25 组概念生成器/作答生成器组合后发现：原论文的重复采样基线用了偏保守的温度 0.8、top-p 0.5。换成探索性解码（温度 1.0、top-p 0.95、关掉 top-k）之后，概念引导相对基线几乎全是负的，32B 给自己出概念也掉 0.5 个 pass@50 点。原流程还把概念一条条迭代生成，Qwen 平均大约 1 个概念/题，多样性基本没兑现。
真问题有两层。探索要发生在语义层；概念生成器本身也可以训练，专门服务一个冻住、甚至只能走 API 的大作答模型。
推理侧先改协议。概念生成器被要求在一条轨迹里写出问题分析，再列出最多 10 条互不重复、针对该题的概念；解析后把固定的作答预算 B 尽量均分到这些概念上。基线和概念条件化作答都用同一套探索性解码，比较才公平。
训练侧只更新概念生成器。主实验用 Qwen2.5-7B-Instruct 当概念生成器，冻住的 Qwen2.5-32B-Instruct 当作答模型。数据来自 DeepMath-103k：训练集留下作答模型在 128 次采样里成功率低于 5% 的题；评测留出 1k 道它在 128 次里一次都没做对的硬题。每题采 8 条概念轨迹，每条配 128 次作答。对错用同一 32B 当 LLM judge（贪心解码），因为规则匹配会把等价写法判错。
轨迹级奖励有两种聚合：
奖励打在整条概念轨迹上，鼓励一次吐出一组方向。优化用 OLMo3 那套 GRPO：学习率 1×10⁻⁶，KL 系数 0.001，clip 0.2/0.272，batch 64，训 200 step。解析不到概念的轨迹给 −0.1 惩罚。
未训练、只改成单轨迹多概念，已经能在「100 次采样全错」的 MATH 硬子集上帮忙。7B 概念生成器给 32B 作答模型带来 +8.8 pass@50；最强一对是 32B 给 7B，+9.7。原迭代协议在同样硬子集上最多 +6.8，还有几组退步。
训练之后，数字更清楚（DeepMath 1k 硬题，作答模型为 32B）：
| 方法 | pass@1 | pass@64 | pass@128 |
| 朴素重复采样 | 0.23 | 11.35 | 19.00 |
| 十条通用提示 | 0.32 | 14.54 | 22.60 |
| 未训 7B 概念生成器 | 0.77 | 20.62 | 28.90 |
| 未训 32B 概念生成器 | 0.82 | 23.77 | 33.80 |
| 训过 7B，max-of-max | 1.48 | 26.66 | 35.30 |
| 训过 7B，max-of-mean | 2.18 | 29.64 | 39.20 |
max-of-mean 相对朴素采样 +20.2 点，相对未训 7B 再 +10.3 点，并且超过未训 32B 的 33.8%。分布外的 Omni-MATH 2（1382 道同样筛过的硬题）上，max-of-mean 的 pass@128 是 18.60%，朴素采样 11.29%。
换家族也能用。这颗只对过 Qwen 32B 的 7B 概念生成器，拿去引导从未见过的 Llama-3.3-70B，DeepMath pass@128 到 34.3%，超过 70B 自己给自己出概念的 28.9%，也超过朴素采样的 26.2%。
几组消融把机制钉死。把概念随机错配到别的题上，pass@128 掉到 23.9%，只略高于通用提示，大约 15 个点来自题相关，不是换个 prompt 抖一抖。概念里漏答案的比例只有 0.44%（3% 的题至少有一条被标出）。同一套强化学习直接训 7B 去答题，pass@128 只有 24.7%，还不如未训 7B 去引导 32B。固定 128 次预算、概念从 1 条加到 10 条，pass@128 从 22.7% 升到 39.8%，pass@1 几乎不动（2.15–2.44%）。用 Vendi Score 量推理链的有效互异条数，朴素采样 50.4，max-of-mean 到 73.0。
对从业者，这是一条「小模型当搜索策略、大模型冻住作答」的路径。闭源 API、训不起的 32B/70B，都可以在前面挂一个便宜的概念生成器。推理时一次 7B 轨迹大约是一次 32B 作答的 0.24 倍算力，相对 128 次作答预算不到 0.3%，预算几乎没涨。
它也把 GuidedSampling 的结论纠正了：概念引导的增益高度依赖基线是否被允许探索；协议不行、概念太少时，故事站不住。真正多出来的，是把概念生成器本身当成强化学习策略来训。
这仍是渐进工作。核心是把探索从 token 噪声抬到语义层，并证明小策略可以迁移。不是新的推理范式。
训练极贵。每题每步要 8×128=1024 次 32B 作答再加 1024 次 judge；一步大约 413 秒，其中作答约 300 秒、judge 约 85 秒，合计约 94%。瓶颈是那个不训练的大模型。更长训练也没持续变好：过了约 200 step 就在 0.38–0.40 pass@128 附近抖，max-of-mean 后期还会不稳。
奖励打在整条轨迹上，弱概念可以搭强概念的便车。作者查了位置准确率（约 1.3%–2.7%），没有死位，但颗粒度仍然粗。作答预算在概念间均匀分配，附录指出最优其实该把预算全砸在最好的那条概念上，这篇没做 bandit 分配。
评测几乎全是数学，judge 就是作答模型自己，存在自我偏置。硬题集合用有限次采样筛「0%」，换一种子朴素采样仍能救回约 19.5%，「翻倍」的分母不是绝对不可解。Llama 迁移用的还是按 Qwen 32B 筛的题，不是 Llama 自己的最难题。概念质量没有人类评测。