On the Limits of Test-Time Compute for Self-Evaluation
Anirudh Buvanesh, Khaled Rouissi, Sujin Yun, Johan Obando-Ceron, Morgane M Moss, Samuel Lavoie, Michael Noukhovitch, Laurent Charlin, Aaron Courville
cs.LG, cs.AI
2026-10-31
Scorpio 把候选解随机分成小组一起打分，在数学、代码和谜题上把验证准确率最多提高 7 个百分点，打平最强基线峰值的成本低 17% 到 42%。
多采样几条答案，池子里冒出至少一条正确答案的概率会上升。这个概率叫 pass@N，只抽一条的准确率叫 pass@1。前沿模型上这道缝还很宽。Terminal-Bench 4 的榜单上，从 pass@1 到 pass@5，GPT-6 Astra 由 58.2% 升到 71.2%，加 13.0 个点；Fable 5.1 由 57.9% 升到 78.8%，加 20.9 个点。
缝的另一头是把正确答案挑出来。V1（相近候选的锦标赛）和 RSA（用旧解答生成新解答）走势相同：候选数 N 变大，选中准确率离 pass@N 更远，RSA 还会掉点。多花的 test-time 算力，也就是推理阶段追加的计算，没有稳定换成更高的最终准确率。
排序误差是错解得分不低于正解的比例，单次评判记成 0/1。它的期望等于方差加上期望的平方。方差看重复评判晃不晃。平方项看是不是总把错解放在对解前面，这里称作偏差。
排错概率靠近 0 或 1，方差都变小：稳定排对和稳定排错，看起来一样稳。偏差只在靠近 0 时消失。方差下降而偏差停住，名次更稳，有些配对却总被排错。每个预算重复打分 20 次来估计。
Scorpio（Scoring Candidates Over Random Partitions）按这个分解改打分。N 条候选每轮洗牌，按 K 条一组，一组一次调用一起打分。M 轮各自重新分组，分数取平均后选最高。调用次数是逐条打分的 1/K。组内提示更长，美元成本不会按这个比例下降。
对照的是 V1：分数接近的候选配成对，锦标赛一层层比。接近的对更难，方差降得慢；随机对手的名次更稳。LCBv6 上 V1 的偏差更低。K 改成 2 时，Scorpio 的方差仍降得更快。
K=1 的偏差更高，放在一起看才分得开对错。K 变大，同样预算能多平均几次，方差降得更快。LCBv6 上 K=8 偏差回升，一次比较太多条会变难。默认 K=4。
树搜索沿用 DeepConf（用 token 概率当置信度）的步骤，每 2048 个 token 评一次半成品，留下得分前 75%。聚合每轮只留分数前一半去写下一轮，免得错误答案越聚越多。
验证池固定 128 条。模型是 Qwen3.5-4B（instruct）和 GPT-OSS-20B（medium reasoning）。三套题：HMMT 2025 年 2 月数学、Reasoning Gym 的 100 道谜题、LiveCodeBench v6 的 131 道代码题（2025 年 2 月至 5 月）。花费按美元计，上限是逐条打分三轮的价钱。
| 设置 | 对照 | 结果 |
| 数学与谜题上的验证 | 逐条打分与 V1 中更强者 | 峰值高 2～7 个点，打平或超过该峰值的成本低 17%～41% |
| LCBv6 上的验证 | 同上 | 峰值接近；GPT-OSS-20B 省 18% 成本打平峰值 |
| 六组验证平均 | pass@128 | 低 14.3 个点 |
| 高预算下的排序误差 | 外推后的方差 | 偏差占 91%～99% |
| Gemini-3.1-Pro，Terminal-Bench-2.1 | pass@8（每题 8 条摘要） | 大约低 9 个点 |
| 树搜索，LCBv6，GPT-OSS-20B | DeepConf 与 ThinkPRM 的较高峰值 | 高 10 个点 |
| 树搜索，AIME 2024 | DeepConf | 峰值接近 |
| 部分解答多评，N=128，M 从 1 到 3 | 只评 1 次 | 三个数据集、两个模型上高 2～6 个点 |
| RSA，每轮候选由 8 增至 128 | 每轮 8 条、共 10 轮 | 低 6 个点，算力约 16 倍 |
| 代码聚合的缩放 | RSA | 好 11 个点（摘要中的汇总） |
| LCBv6 第 120 题 | 不筛选的 RSA | 工具调用占比由 5.8% 升至 40%；筛选后近乎为 0，准确率由 40% 升至 87% |
数学和谜题上准确率有抬升，代码验证的收益主要在成本。摘要的成本区间是 17%～42%，正文对数学和谜题写的是 17%～41%。
方差随花费下降，偏差随后进入平台，外推后占误差的 91%～99%。Gemini-3.1-Pro 比较的是候选摘要，平台比 pass@8 大约低 9 个点。
AIME 2024 上 DeepConf 的置信度已经够用。LCBv6 上高出 10 个点。ThinkPRM-1.5B 的训练数据是数学，代码题在这份数据外面。起点 128 条、评分从 1 次加到 3 次，三个数据集和两个模型上再高 2～6 个点，仍低于 pass@N。
轮次增加时 RSA 会变好。池子从 8 增到 128，准确率仍低 6 个点，算力约 16 倍。第 120 题里工具调用从 5.8% 增到 40%，筛掉低分后近乎消失，该题从 40% 升到 87%。摘要里的 11 个点是整套代码任务的汇总。
已经在做多次采样的人，可以把打分器换掉，不用另训奖励模型。数学和谜题上最多多 7 个点，达到最强基线峰值的成本低 17%～41%。代码验证省的是同一峰值的钱。
多出来的自评预算，买到的是更稳的名次。偏差进入平台之后，再评几遍也拉不回那批总被排错的配对。搜索和聚合会把排错带进后面的生成，杠杆比最后选一次大。模型本来就会的题，这个杠杆很小。
偏差平台还在。六组验证平均仍比 pass@128 低 14.3 个点，搜索之后那道缝也在。让别的模型来当裁判，附录里能压低 Qwen3.5-4B 的排序偏差。正文没写降下的幅度。
主结果来自 4B 和 20B。Gemini-3.1-Pro 只做了每题 8 条摘要、一个终端操作基准。大模型同样会留下偏差。这覆盖不了 128 条全文打分。
准确率的涨点集中在数学和谜题，代码验证的峰值并在一起。搜索里那 10 个点，DeepConf 用 16、64、256 条，Scorpio 用 8、32、128 条；ThinkPRM 是数学上训练的过程奖励模型。11 个点写在摘要里。40% 到 87% 发生在第 120 题，而且评测拒绝工具调用。
预算停在三轮逐条打分的价钱。91%～99% 来自方差曲线外推，实验没有把预算再放大一个量级。分数打平也记成排错。成本按 2026 年 9 月 13 日的两套单价折成美元，省下的百分比对不上 token 的百分比。