Thinking Before Thinking: Scaling Agentic Inference Through Meta-Reasoning
Paras Dahal, Anton Bakhtin, Taco Cohen, Zhengxing Chen, Carole-Jean Wu, Rob Fergus, Scott Yih, Gabriel Synnaeve, Ruslan Salakhutdinov, Sanjeev Arora, Jason Weston, Anirudh Goyal
cs.AI
2026-09-30
四阶段元推理12组主预算全胜;GPT-5.5在ProgramBench上71.5%,对照Codex的58.0%。
Agent 跑得越长,烧掉调用次数的常常是一串控制选择:这段半成品还要不要接着改、要不要推倒重来、什么时候停。选错不只浪费一次调用。它可能把一条已经死掉的路线养到预算耗尽,或者把已经做对的答案丢掉。
现有 coding agent 和研究 harness 大多把控制和执行缠在同一次调用里,对着不断膨胀的对话历史做一步决策。历史一长,相关证据被埋进去,中间结果很难被拿来用。多给预算,系统经常提前停,或者分数不再涨。
Meta Superintelligence Labs 把「下一步算什么」单独做成一项推理任务,叫做 agentic meta-reasoning,在推理时用一套 harness 让控制走结构化过程。
工人只做对象级工作,可以是一次模型调用,也可以是带工具的 coding agent。控制器不写最终答案,只决定派什么活、给工人看哪些已有产物。产物存成带稳定 ID 的 artifact,放进持久记忆。控制器自己只带着一份每轮重写的紧凑状态,不把整段历史原样回放。
每个控制周期四段,每段都是带工具的 agentic 过程,可以读记忆、写笔记、花多次调用:
所有控制器调用和工人调用从同一份名义预算里扣。对照是 Direct Control Agent:工人、委派接口、上下文选择、停止条件都一样,只是每次用完整历史做一次决策。跑出来的依赖记成 artifact graph,边表示这份产物被选作下一份的上下文。
主设置是推理基准 100 次调用、ProgramBench 1200 次,底层模型为 Gemini 3.1 Pro、GPT-5.5、Opus 4.8。12 组 matched 对照的点估计全部更高。三个推理基准上,相对 Direct Control 的平均增益分别是 4.0、4.2、3.6 分。增益不均:Gemini 在 LongCoT-mini 上加 9.2 分,GPT-5.5 只加 0.4 分。
| 模型 | 任务 | Meta-Reasoning | Direct Control | 外部基线 |
| GPT-5.5 | ProgramBench | 71.5% | 63.7% | Codex 58.0% |
| Opus 4.8 | ProgramBench | 67.2% | 65.3% | Claude Code 65.5% |
| Gemini 3.1 Pro | IMO ProofBench-Adv | 91.3 | 82.7 | RLM 73.3 |
| Gemini 3.1 Pro | ARC-AGI-2 | 84.2 | 77.5 | RLM 76.7 |
| Gemini 3.1 Pro | LongCoT-mini | 62.7 | 53.5 | RLM 46.5 |
ProgramBench 上相对 mini-SWE Agent 高出 2.5 到 13.9 分。GPT-5.5 对 Codex 的 13.5 分差最好看;matched 对照里 Direct Control 已经到 63.7%,控制方式本身贡献 7.8 分。
Direct Control 经常提前停。GPT-5.5 在 ProgramBench 上只用掉 1200 次额度的约 18%,Meta-Reasoning 用掉约 89% 到 101%。额度从 400 加到 1200,GPT-5.5 的 Meta-Reasoning 从 64.1% 升到 71.5%,Direct Control 一直停在 64% 附近。Opus 4.8 把实际调用从 376 加到 768,分数只从 62.7% 到 65.3%,还在中间档见顶。多干活不够,下一步干什么也得对。
小预算会反过来。Opus 4.8 在 400 次时 Meta-Reasoning 是 56.6%,Direct Control 是 62.7%;到 1200 次才反超,67.2% 对 65.3%。四阶段的开销要跑够长才回本。
Artifact graph 上,Meta-Reasoning 产出更多工人产物,更多接在已有结果上。Gemini 在 IMO 上工人产物大约翻倍,记录到的依赖高一个数量级。覆盖率多数设置上升:Gemini 在 IMO 上加 20 个百分点,LongCoT-mini 上加 10。控制器对候选的 verdict 比工人自评更会排序,Gemini 在 IMO 上 Type-2 AUC 从工人的 0.55 到控制器的 0.88。最后选哪个并不均匀变好。GPT-5.5 在 ARC-AGI-2 上相对随机抽 frontier 高 11 个百分点,Direct Control 只高 3 个;Gemini 在 LongCoT-mini 上 Direct Control 还略好。
控制器反复读自己写的笔记。ARC 和 LongCoT 上被读过至少一次的笔记平均 4.4 到 9.8 次,工人产物 1.9 到 3.3 次。Direct Control 的历史在最长的 Opus IMO 跑上超过一百万字符;Meta-Reasoning 的紧凑状态是数千到数万字符。
这是推理时 harness,不微调控制器。对得上的场景是长跑、中间产物互相依赖、预算大到控制本身开始值钱的任务:程序重建、证明搜索、多步约束推理。短任务、小预算上,四阶段可能是净亏损。
一个常见问题被摊开:模型会做题,不等于会管自己的计算。Direct Control 已经有同样的工人和同样的额度,分数仍在大预算上走平。再堆调用,解决不了选活问题。
切法没有被证明是唯一的,和 Codex、Claude Code 的对比还掺了整套系统差异。能确定的是,把控制做成显式过程,在这篇测过的长预算上划算。
小预算上开销压过收益。控制器评估错了会把错误状态传下去,或者丢掉它再也没读过的好半成品。紧凑状态有损,晚一点才重要的信息要靠以后读记忆捞回来。LongCoT-mini 的 chess 子集上 Meta-Reasoning 弱于 Direct Control,轨迹抽样指向已经对了还继续检查、把答案改坏。增益幅度跟模型绑定:Gemini 吃推理基准,GPT-5.5 吃 ProgramBench,Opus 增益更小但方向一致。
对照设计测的是组合,不是单因子。同一次数预算不等于同样的 token、延迟或 FLOPs。ProgramBench 没有给中间重建打分,覆盖率和选择分析只做了推理基准。Direct Control 走平有没有被百万字符历史拖累,论文说没做单独消融。12 组全胜是点估计,主文没有给出置信区间或显著性检验。