把剩余预算写进搜索策略，研究智能体实验砍半、奖励反升 10.3%

PrimeScientist: Strategic Allocation of Research Effort in Autonomous Research

Xinle Yu, Fan Bai, Kaiser Sun, Hengshuo Miao, Abhay Anand, Zhongyan Luo, Kun Zhou, Zhen Wang

cs.CL, cs.AI, cs.LG

2026-09-16

把研究精力分配立成显式优化目标：自适应 MCTS 按剩余 token 预算收紧探索，同预算下奖励高 10.3%、尝试少 50.6%。

这篇在解决什么

自主研究智能体已经能跑通完整闭环：提假设、改实验代码、跑实验、看结果、决定下一步试什么。短板在算账：想法比算力多。一个任务能衍生出备选假设、数据集选择、消融方案、调试策略等一堆方向，每完整验证一个都要烧大量 token，试了这个就没机会试那个。

现有系统各有各的盲区。Karpathy 的 autoresearch 走线性精修：改一处、跑一次，分数涨了保留、跌了回滚，下一次永远接着当前轨迹。AIDE、AI Scientist-v2 这类树结构系统保留了备选方向，导航靠固定规则或 LLM 判断，不把「还剩多少预算」写进决策。AlphaLab 的 Strategist 看剩余实验次数，FML-Bench 的 AdaptiveSearch 在停滞时切换一次探索，但规划烧掉的 token 仍在分配目标之外。PrimeScientist 把「精力怎么分」本身立成优化目标。

方法

先形式化成序列决策问题：状态含任务、计划集、历史和剩余预算，策略每步三选一，让 reflector（反思器，起草和修订计划的 LLM agent）构造或修订计划、让 coding agent 执行某个计划、或者停手。预算 B 是共享的推理 token 池，规划和执行从同一个账户扣钱，这是全文最关键的设计约束：想清楚「试什么」本身就是研究开销。

可执行计划树：节点存一份结构化 Markdown 计划、执行结果和分支统计；边存 reflector 生成的可执行 diff.py 加描述与先验估计，子计划可从父计划重建。计划独立于 executor 的对话历史存储，候选方向在别的分支评估期间保持可选。树上只有两种动作：执行没试过的计划，或对已评估计划做反思扩展。
自适应 MCTS 分配：选节点按权重采样，已评估节点权重 ∝ Q(v)^αt，Q 是分支经验价值；未访问节点用 reflector 先验与父节点价值组合。核心在指数 αt = min（1/rt， 10），rt 是剩余预算比例。预算充裕时指数小、选择分散多探索；预算见底时指数放大、火力集中到高价值分支。同样的历史战绩，剩的钱不同，分配就不同。价值回传取保留后代的平均奖励，子节点比父节点当前值低超过 0.05 即剪枝，每次扩展至多提 3 个子计划。

结果

主实验用 GPT-5（经 Codex CLI），每任务 150 万共享 token，对比线性精修的 AutoResearch 和单次执行 agent。

基准	PrimeScientist 奖励/尝试	AutoResearch 奖励/尝试
FIRE-Bench（12 个 AI 研究任务）	0.7738 / 13.33	0.7018 / 27.0
AutoLab（8 个系统与代码优化任务）	0.4824 / 10.0	0.4428 / 17.5
MLE-Bench（4 个 Kaggle 任务）	赢 2 项，尝试 11–15	赢 2 项，尝试 21–25

三个基准 24 个任务里 23 个用了更少尝试。FIRE-Bench 奖励提高 10.3%、尝试少 50.6%，12 项里 6 项上涨 2 项打平；剔掉涨幅最大的 MCQ Selection Bias（1.0 对 0.429）后平均仍是 0.7533 对 0.7266，不靠单个任务撑场。AutoLab 的 Smallest Game Player 是门槛题，对手 0 分，它拿到 0.3224；其余 7 项奖励持平（0.5052 对 0.5061），省的全是实验次数。

消融把「分配策略本身值多少」拆了出来。固定执行器、reflector、树表示与预算规则，只换选节点的策略：8 任务平均，PrimeScientist 策略 0.598，高于 Greedy 的 0.563、UCT 的 0.551、Random 的 0.546。再固定指数做对照（GPT-5-mini）：自适应 0.537，好于固定 α=10 的 0.507、均匀采样的 0.502、α=3 的 0.452，6 任务 3 项第一、从不垫底。预算感知的探索有独立贡献。

过程侧的数字同样硬：LLM Value Consistency 上 AutoResearch 在 0.73 附近停滞，PrimeScientist 继续爬到约 0.89；6 任务里 5 个更快达到对手最佳成绩的九成。代价是规划开销：反思加树上下文吃掉 38% token（执行占 62%），一次计划扩展烧 10 万到 30 万。总账仍划算：同样 100 万 token 预算下 6 个任务合计 112 次尝试，对手 158 次，少约 29%；平均搜索时间 32 分钟对 42 分钟。

为什么重要

对做 agent 基建和自动科研平台的人，可搬运的结论是：固定推理预算下，花 token 决定「试什么」不是纯开销。实验次数砍半意味着训练、评测这些下游成本同步砍半，按 token 计费的部署里，同预算多产出直接等于省钱。这个机制也不绑死科研场景，凡是「备选多、验证贵」的 agent 任务（超参搜索、架构搜索、prompt 流水线）都能套，实现成本只是一条采样权重公式。

也要直说：提升幅度在 AI 研究任务上是两位数百分比，在系统优化任务上接近持平，属于扎实但渐进的改进。立住的是「预算进策略」这个建模选择，加上结果、尝试次数、推理开销三者一起报的评测口径。

局限与存疑

作者自认的：

reflector 是完整 LLM agent，一次反思的 token 消耗与一次执行同量级；何时继续规划、何时直接动手是开放问题，预算紧时 38% 的规划占比可能吃掉收益。
资源核算只算推理 token，不含 CPU/GPU 时长与钱；多资源约束留给未来。
每配置只跑 2–3 次，无显著性检验，GPT-5 主实验更是单次搜索；0.4363 对 0.4359 这类差距处在噪声量级。
粒度止于计划级，一次尝试内部无法再分配精力。

读下来的疑问：没有与 AIDE、AI Scientist-v2 等更强树搜索基线的正面对比，「优于固定规则」的证据只覆盖 8 任务子集；FIRE-Bench 上每个计划节点执行两次取高分，该设置结构性利好树方法；研究质量与 benchmark 自动评分能否画等号，也要打折看。

术语

MCTS（Monte Carlo Tree Search）：蒙特卡洛树搜索，在选择、扩展、评估、回传的循环里逐步把资源投向看好的分支，同时留概率试冷门分支。
reflector（反思器）：读执行证据、提出或修订研究计划的 LLM agent，与写代码跑实验的 executor 分工。
研究尝试：一次完整的执行器调用，覆盖实现、实验、分析，是样本效率的度量单位。
FIRE-Bench / AutoLab / MLE-Bench：分别测 AI 研究发现复现、系统与代码优化、Kaggle 式机器学习工程的三套基准。

原文与代码

社区讨论

PrimeScientist 论文:用 MCTS 策略分配算力,让研究智能体学会取舍方向 rohanpaul_ai