The Illusion of Diminishing Returns: Measuring Long Horizon Execution in LLMs
Akshit Sinha, Arvindh Arun, Shashwat Goel, Steffen Staab, Jonas Geiping
ICLR 2026
cs.AI
2025-09-12
把计划与知识直接喂给模型只考执行:单步近满分的模型 15 轮内崩盘,错误历史还会带偏后续输出,thinking 可修复。
scaling 还值不值得继续砸钱,两边各握一份证据:scaling laws(损失随规模变化的经验曲线)显示单步指标边际收益递减,而 METR(做 AI 长任务能力测量的机构)的实测显示前沿模型能完成的任务长度每 7 个月翻一倍。另一边,《The Illusion of Thinking》指出思考模型在任务拉长后照样崩,常被读成「模型不会推理」。
这篇 ICLR 2026 论文(Cambridge、Stuttgart、MPI 等机构)把问题拆开:规划决定做什么、按什么顺序,执行把定好的步骤做下去。他们的判断是,长任务的失败大头出在执行,记到「不会推理」账上是误诊。底下有个数学观察撑着:设每步准确率恒为 p,连续 H 步全对的概率是 p^H,可撑步数 H = ln(s)/ln(p),单步准确率越过 80% 后,每一点提升换来的任务长度都是双曲线式暴涨。短任务 benchmark 上递减的收益,换到长任务维度会复利放大。
任务设计成「键值字典累加」:
核心指标是 horizon length:任务成功率跌破 0.5 之前能无错完成的最大步数。为了区分「上下文变长导致变差」和「被自己的错误带坏」,他们反事实地改写聊天历史,按 0% 到 100% 注入错误答案,再看第 100 轮的准确率。历史全对时残留的退化归 long-context(长上下文);错误率越高、退化越狠,则说明存在 self-conditioning,即模型把自己的历史输出当条件,错误越多后续越容易错。
| 设置 | 结果 |
| Qwen3-32B,首轮准确率接近满分 | 任务准确率 15 轮内跌破 50% |
| Qwen3 4B→32B、Gemma3 4B→27B | 可执行轮数随规模持续变长,没有递减迹象 |
| Kimi K2、DeepSeek-V3、Qwen3-235B,历史全对 | 第 100 轮接近满分,long-context 退化基本解决 |
| 同一批 200B+ 模型,历史含错 | 准确率随注入错误率一致下滑,规模救不了 self-conditioning |
| Qwen3 thinking 模型,任意错误率 | 第 100 轮稳定,thinking 修复 self-conditioning |
| DeepSeek-V3 无 CoT,单轮 | 连 4 步都失败;其思考版 R1 超 100 步 |
| 前沿 thinking 模型单轮,80% 准确率阈值 | GPT-5 2176 步,Claude-4 Sonnet 432,Grok 4 384,Gemini 2.5 Pro 120 |
thinking 模型指先把推理过程写成 token 再给答案的模型,GPT-5 thinking、DeepSeek-R1 都属此类;CoT(链式思维)是给非思考模型的类似提示。修复 self-conditioning 的可能原因有两个:RL 训练让模型朝任务成功对齐,而非延续上下文;思考轨迹被移出历史,且几乎不回看前几轮的答案。单看原子操作,查表和加法各自近乎满分,一叠加状态维护(运行总和)就开始退化,难点在状态管理。并行采样加多数投票,即使 token 数对齐 CoT 也追不上,说明长程执行吃的是串行计算。便宜的缓解里,滑窗删掉模型自己的历史输出能明显续命;让模型自我验证则不行,token 消耗暴涨且验证本身出错。作者还人工筛了 AgentErrorBench 的失败轨迹,估计 GAIA 约 20%、ALFWorld 48%、WebShop 33% 的失败接近 self-conditioning。另一个信号:Qwen3-Next 靠 Gated DeltaNet 混合架构,单轮执行长度超过了更大的纯 attention 模型。
对做 agent 的人,结论直接可用:长程可靠性目前只有两个来源,更大的模型和串行的思考 token,并行采样补不了执行。工程侧的即时启示是上下文管理,模型自己的错误输出留在历史里是负资产,滑窗删掉几乎零成本。评测侧,单步准确率接近满分说明不了长任务能力,horizon length 才是对齐经济价值的指标。中文圈讨论里 Mollick 那条「小模型省钱省在短期,末端质量由大模型兜底」与这里的 scaling 结论互相印证。分量也要说清:这是一篇测量与诊断论文,self-conditioning 与 in-context learning(从上下文示例学习)同源这类机制解释是带证据的假说,不是定论。
作者自列的局限:合成任务是必要非充分条件,真实 agent 任务动作空间大、可能有多条正确计划;task accuracy 不给自我纠错记分;单轮任务理论上可被常数深度电路并行算完(TC0),所以补做了 2×2 矩阵连乘版本,无串行思考时模型连两个矩阵都乘不动;全部结论针对当前模型,微调后可能变化。
读下来还有两处要留神。其一,这里的「计划」就是一列 key,执行退化成查表、加法加状态跟踪,和真实 agent 的执行(工具调用、环境反馈)距离不小,GPT-5 的 2176 步不能直接换算成「能独立跑完一个项目」。其二,附录里对真实 benchmark 的 self-conditioning 占比是人工判断,作者也承认正确性判定偏主观。单轮排行用 80% 准确率阈值加二分搜索,阈值一变数字会动,但 GPT-5 对第二名 5 倍的差距不靠阈值撑着。