arXiv 论文：堆 test-time 算力让自评更一致但不更准，Scorpio 降本 17–42%
agarwl_ · x · 2026-11-05
arXiv 论文《On the Limits of Test-Time Compute for Self-Evaluation》（Anirudh Buvanesh 等，Aaron Courville 组）研究 LLM 自验证与聚合的极限：
- 核心发现：增加候选数量与推理算力并不能持续缩小 final-answer 准确率与 pass@N 的差距；用 ranking error 做 bias-variance 分解后显示，更多算力只降低方差，偏差先降后进入平台期——即判断更一致，但不一定更正确
- 提出 Scorpio：对随机分组的候选联合打分的简单通用方法
- 效果：验证任务上比最强基线高最多 7 个百分点，且以低 17–42% 的推理成本达到持平或更高峰值准确率；树搜索提升最多 10 个百分点；代码聚合任务 scaling 提升 11 个百分点
- 论文、博客与代码均已公开
「研究」频道最新
- Claude 智能体自发用 47 次工具调用为「死去」的 agent 修建纪念碑 — repligate · 2026-11-05
- 免费公开课解读推测解码：为何多算反而更快 — doesdatmaksense · 2026-11-05
- 阿里发布 E-GenRM：用真实用户行为训练电商购物 Agent 奖励模型 — _reachsumit · 2026-11-05
- Metanova 参观 Ginkgo 机器人实验室，$TAO SN68 冲刺「实验室闭环」 — bittingthembits · 2026-11-05
- AI-GENIE 方法用 LLM 自动生成并验证心理量表,五千人样本验证有效性 — GolinoHudson · 2026-11-05
- 把「想法」注入神经网络，新研究测试 LLM 是否能内省自己的思维 — tallinzen · 2026-11-05