Agent Plasticity: Measuring Self-Improvement Through Experience
Harman Singh, Anton Bakhtin, Rulin Shao, Gabriel Synnaeve, Ilia Kulikov, Rob Fergus, Sanjeev Arora, Kurt Keutzer, Jason Weston, Anuj Mahajan, Anirudh Goyal
cs.AI
2026-10-07
权重冻结,经验只能写成工具和记忆留给下一局。棋类上 GPT-5.6 Sol 的可塑性为每千美元 298 分,终点最高的 Claude Fable 5 可塑性只有 57,对更强对手往往只迁走一部分。
智能体评测大多问此刻能做成什么。自我改进问的是后一半。同样的失败反馈、同样多轮修改之后,有的模型把经验写成下次还能调用的工具,有的改了很多轮,分数仍停在起点附近。
终点分盖不住这些差别。起点高可以不学也靠前;涨幅接近时花费可以差很多;训内涨了,也不保证打得过更强对手。测量要同时看三件事:留出表现有没有超出产生学习的那些对局,能力换得有多省,改进环断在哪。权重全程冻结,跨局只留下脚本、技能和文字记忆。工作来自 Meta Superintelligence Labs、加州伯克利、普林斯顿和华盛顿大学。
每个检查点是冻结模型加一份持久清单:可执行脚本、自然语言策略、文字记忆。每局空白上下文开局,对话和临时文件不继承,所以涨分不能靠对话历史撑着。训练证据包括轨迹、胜负、报错和着法质量,同一模型提议更新。通过结构检查和可执行检查才入库;被拒不改清单,费用照计。
评测分训练、分布内留出、分布外留出。只有训练轨迹进入反思。分布内与训练同难度,看产物离开学过的对局还管不管用;分布外换成更强对手,测难度迁移。棋类分数为 100×(胜+0.5×和)/局数。超时、不落子、下不完记负。
可塑性等于留出增益除以学习成本,单位是每千美元的分数点。成本含行动、反思和被拒尝试的令牌,折成美元。饱和可塑性取单调拟合里升幅走到 90% 的第一个观测点,用该点增益除以成本。升幅不足 10 个百分点记 0。观测内到不了这个点,外推不超过已花成本的 3 倍。
失败分三类:没有盖住该错误的产物,有但没用,用了仍失败。第 0 轮后约 98% 的国际象棋着法能对上相关产物。判断结合语义标注和执行痕迹,只作观察。
国际象棋从空架子更新 20 轮。困难档每轮 16 局训练、12 局分布内、12 局分布外,对手每步搜索 2 万节点。围棋 5 路,六角棋 6×6。地牢用编程智能体自带架子,从检查点 0 走到 40,每轮 10 个新种子。
棋类合曲线对困难档、容易档国际象棋、围棋、六角棋等权平均。饱和可塑性差一个数量级:GPT-5.6 Sol 为 298 分/千美元,Claude Opus 5 为 233,Claude Fable 5 为 57,Claude Opus 4.8 为 14,GPT-5.6 Luna 为 0。GPT-5.5 仍在慢涨,饱和无法确定。Fable 5 的拟合终点最高。困难国际象棋分布内,Fable 5 从 37.5% 到第 16 至 20 轮平均 73.3%,Opus 5 从 25.0% 到 66.4%,Sol 从近 0% 到 36.9%。Sol 绝对分更低,起点也低于 Opus 4.8,最后的留出分和可塑性却都超过后者。Opus 4.8 主要在容易档从 0% 涨到 19.0%。
分布外常常只跟上一部分。围棋上 Fable 5 分布内 20% 到 80%,分布外 0% 到 50%。六角棋上 Sol 分布内 40% 到 77.5%,分布外 28.1% 到 78.1%。任务一换排序就换:Opus 4.8 围棋退步、六角棋上升;Opus 5 围棋先涨,最后一轮造工具出错,分数掉下去。
地牢里清楚上升的是 Claude Opus 5.5,测的是 Claude Code 智能体。均分从第 0 至 2 轮约 2019 到第 36 至 40 轮约 5831。第 11 轮到达拟合升幅的 90%,此前成本 1072.73 美元,归一化可塑性 61.75 分/千美元。其余五条没有可靠上升,棋类最省的 Sol 从约 570 掉到约 420。第 10 轮同一批十局,Opus 5.5 均分 9015,工具代码 2713 行;Opus 5 写到 8237 行,均分 1919。代码更多没有换成更高分。Opus 5.5 在第 0 轮已是别人的 2.6 到 25 倍,这一轮总分的 69% 来自表现最好的三局。
一条 Fable 5 谱系自己写了象棋引擎:被将军就补搜索,和棋送掉胜势就改重复局面,残局加长搜索。之后每局都带着这些改动。
低复用几乎不涨。困难加容易国际象棋上,不用产物的相关决策,Luna 约 98%,Gemini 3.1 Pro 约 87%,Opus 4.6 约 51%,GPT-5.5 约 28%,四个高涨模型只有 2% 到 6%。它们复用率 94% 到 98%,分数仍拉开,失败约 0.16 对 0.38 次/相关决策,其中 83% 到 99% 出在正在使用产物时。复用也不等于涨分:第 3 轮 Sol 与 Opus 4.8 复用已到 93% 到 99%,分数峰值在第 12 轮和第 5 轮。围棋上 Opus 4.8 成功复用升到 93%,分布内却从 40% 掉到 10% 到 25%。
| 设置 | 对照 | 结果 |
| 棋类饱和可塑性(分/千美元) | Sol / Opus 5 / Fable 5 / Opus 4.8 / Luna | 298 / 233 / 57 / 14 / 0 |
| 困难象棋分布内,第 0 到 16 至 20 轮 | Fable 5 / Opus 5 / Sol | 37.5%→73.3% / 25.0%→66.4% / 近 0%→36.9% |
| 围棋 Fable 5;六角棋 Sol | 分布内 / 分布外 | 20%→80%、0%→50%;40%→77.5%、28.1%→78.1% |
| 地牢 Opus 5.5 | 均分;可塑性 | 约 2019→5831;61.75 |
终点能力和习得效率是两列数。还要在事后改工具的智能体,只看静态榜,会让起点高、不吃反馈的模型占先。Sol 在棋类上单位成本最高,拟合终点最高的是 Fable 5,饱和可塑性大约只有 Sol 的五分之一。
低复用更像卡在检索和调用。高复用仍然失败,更像卡在产物质量、泛化或用法。同一套接口在四个任务上都能拉开曲线,排序不稳定,地牢和棋类可以相反。实验只测量可塑性,没有把它写进训练目标。
环境反馈没有从反思算力里拆出来,也没有同等预算、不看对局的对照。可塑性依赖定价、分数头顶空间、视野和饱和拟合,小差距不能当成总排名。GPT-5.5 的饱和未被这批运行确立。地牢锚点把 213.6 映到 0、6526.98 映到 100,不能和棋类胜率直接比;Opus 5.5 的上升还叠在高起点上。失败归类停留在观察,语义判断来自同批被测的 Gemini 3.1 Pro。任务分开训练,跨游戏能否带走产物没有测。检查点有噪声,长上下文的贡献也未分离。