When Agents Slow Down: Understanding LLM Agents' Test-Time Strategies via Elo-per-token Analysis
Kaiyuan Liu, Qiuyang Mang, Bo Peng, Wenhao Chai, Hanchen Li, Shreyas Pimpalgaonkar, Luke Zettlemoyer, Alex Dimakis, Alvin Cheung
cs.CL
2026-09-14
伯克利等提出Elo-per-token：智能体在四类开放任务上早期比独立采样更会把token换成Elo，随后斜率掉到每十倍算力400 Elo以下；把100M token按拐点拆成三路，比一路长会话高264 Elo。
推理模型的测试时缩放好测：多采样、多改写，分数大致随log算力线性涨。智能体自己决定何时改、何时调工具、何时停，轨迹还互相依赖，再用「最终分对总token」会把过程抹平。开放任务更麻烦，中间提交有连续分，但不同题的分数量纲完全不能比。
伯克利、华盛顿大学、普林斯顿和Bespoke Labs要的是一条能跨任务、跨系统比的测试时曲线，以及一个判断「该把这段会话写深，还是新开一路」的尺子。
对象是没有已知最优解、中间提交能打连续分的任务。每个会话记录（分数，累计token），画出截至当前预算的历史最优。同一任务内，更高的历史最优赢，打成对局；用Bradley-Terry把对局收成Elo。Joint-Elo把所有系统放在同一把尺子上；Self-Elo只比同一系统不同预算，用来看这条系统自己的斜率。
独立重复采样给出一条与分布无关的参照：若每次尝试代价相同，最优的n次对最优的m次，群体Elo差是400 log10(n/m)。等价地说，token每涨十倍，Elo加400。Self-Elo斜率高于这条线，继续加深当前会话更划算；掉到线下，新开独立会话更划算。最后一次上穿被定义为缩放拐点binf，总预算B就拆成约B/binf路、每路跑到拐点。
评测用四个带确定性自动打分器的基准：FrontierCS、ALE-Bench、MLS-Bench、FlashInfer-Bench，共14题。四个通用智能体：Kimi Code（K2.7）、Codex（GPT-5.5）、Claude Code（Opus 4.8）、Gemini CLI（Gemini 3.5 Flash）。每题目标100M token，每对（系统，任务）五条独立会话。人类对照取AtCoder启发式竞赛历史提交。
四套系统在100K到100M上Self-Elo都在涨，额外token一直还能找到更好解。局部斜率在小预算上可以超过400，随后下降；汇总曲线在最大预算处全部掉到400以下，后期在log算力上是凹的。测试时进化（AdaEvolve、GEPA）和测试时训练（TTT-Discover）也是先快后慢，没有人类那种在log时间上凸起来的形状。
人类相反。七场10到14天的AHC里，前10和前50选手的Self-Elo在log赛时上是凸的。AHC014上把智能体和人类放在同一墙钟轴：智能体在最长72小时的会话里先涨后平，前10人类在后续几天反超。
分配实验用Kimi K2.7打FrontierCS的Polyomino Packing。Self-Elo拐点在38M token，100M总预算预测K=3。六种分配里，三路会话比一路100M高264 joint-Elo，比十路10M高355，是六种里最好的。MLS-Bench上同样是拐点分配同时压过两头极端。
给agent测试时算力一本可操作的账。100M token的长会话看起来很猛，过了拐点之后，边际Elo已经不如从当前状态重新采样。工程含义直接：先测这条任务的斜率，在掉到400以下的地方切开，把剩下的预算铺成并行会话。论文还用「粘盆地」解释后期变慢：早期选定的算法思路越来越难放弃，会话加深对盆地之间的差距可以忽略。
这不是一条新的智能体架构，是一条测量学警告。谁还在用「把上下文塞满」当默认策略，这篇给出了反例。
拐点目前要靠整条任务曲线估出来，域级曲线对不齐题级拐点，论文承认还不能从任务属性或早期统计预测它。人类对照用墙钟、智能体用token，除了AHC014那一栏，两边并不是同一把尺子。14题、每格五条会话，对100M尺度偏瘦。粘盆地是一个渐近定理加事后解释，没有在harness里做「强制换盆地」的干预。缓存计入总token，作者认为对数轴上只是水平平移，短会话是否被低估仍可争。