How Do Coding-Agent Harnesses Self-Evolve? An Empirical Study of Retrospective Adaptation
Christoph Treude, Sebastian Baltes
cs.SE, cs.AI
2026-10-26
让 Claude Code 复盘 30 个 SWE-bench 任务并自改 harness:12 项改动里仅 2 项消除重复工作,部分还在无关任务上添活。
Coding agent 跑在 harness 里。harness 指运行 agent 的整套软件、配置与指令,含每次会话开头自动读入的 CLAUDE.md 这类上下文文件。一个会话摸清了仓库怎么跑测试、哪些测试本来就挂,可以写进 harness 留给后续会话;不重训模型、把经验沉淀成 harness 改动,就是论文说的 harness self-evolution。
改动留下来有没有用是另一回事:它可能只对那一个任务成立,可能进不了后续会话的上下文,也可能被读了却不改变任何行为。社区已经在用这套机制:/retro 是 Matt Pocock skills 仓库里的一个 skill,让 agent 复盘刚结束的会话,产出编号的 harness 改动建议交人批准。生成建议这一半是自动的,验证建议这一半一直没人逐条做过,这篇论文补的就是验证。
分三步。
一次只评一条改动是这个设计的关键。此前工作多把一堆改动打包叠加,效果没法归因到具体某条。
125 条建议里 101 条 experience-driven、19 条 prior-driven、5 条 weak。机制上 executable check(可执行检查,如 pre-commit hook)最多,38 条;navigation pointer 24、instruction 21、information access 20、tool/config 12,另有 10 条不改 harness。背景是环境问题高发:后 20 个会话有 19 个的 trace 含失败或重复的 shell 命令、多套测试运行器,15/30 个会话被提了已知失败清单。
问题在编码阶段就露头。38 条 executable check 只有 9 条按原样能在任务环境里真的报错,其余 29 条里 28 条依赖环境缺失的工具、或是永不触发的 commit hook(任务会话从不 commit)。43 条 lint 建议里 18 条 prior-driven,不管会话里发生了什么都建议加 lint,因为 skill 指令把「没有 pre-commit hook 或 CI」直接定义为 a finding。复盘输出混着两类东西:从经历学到的事实,和 skill 作者预装的通用规范。
13 次迁移里 7 次 informative:
| 改动 | 原 harness 复发 | 改后复发 |
| SymPy CLAUDE.md 指明用 bin/test | 5/5 | 0/5 |
| Astropy 已知失败清单(3 个测试) | 3/5 | 0/5 |
| Astropy 修缓存插件 + 比对脚本 | 5/5 | 2/5 |
| Sphinx 已知失败清单(2 项) | 5/5 | 5/5 |
| SymPy 双包失败清单 + 脚本 | 4/5 | 4/4 |
| pytest 已知失败清单(3 个测试) | 5/5 | 5/5 |
两条彻底消除目标动作的改动,恰好都覆盖了后续会话实际撞上的实例:一条是跨 issue 稳定成立的测试命令,一条正好列中遇到的失败。覆盖不住的清单每个改后会话都读了,基线比对照样重做(一次改后会话因认证错误被排除,故为 4/4)。任务成功率在每组对照里最多差 1 个会话,没有证据显示改动提升了成功率;耗时上除 SymPy、Sphinx 几组上涨外,其余四组有效对照中位耗时下降 5 到 28 秒。
副作用同样真实。一条 Sphinx 清单指示「不在清单里的失败当作自己改出来的」,在无关对照任务上,5 个改后会话有 4 个去做基线比对,原 harness 一个没做。那条有效的 SymPy CLAUDE.md 捎了一行「收尾前跑 CI lint」,每个改后会话都照办,中位耗时从 88 秒涨到 156 秒;Sphinx 对照任务从 82 秒涨到 245 秒。作者手写的 pre-commit 对照更干脆:5 个改后会话没有一个读它或运行 pre-commit。
对每天开 Claude Code、Codex 干活的人,这直接检验了一个流行做法的成色:让 agent 复盘并自己长 CLAUDE.md、hooks、脚本。答案是有条件的值。仓库级事实(测试怎么跑)迁移得动;一次性失败清单基本迁移不动,后续会话撞上的是别的失败。在用 /retro 这类 skill 的话,值得数一数产出里多少是 prior-driven 的通用规范、多少真来自你的会话。
对做 agent 自我进化系统的团队,评估方法可能比结论更有用:逐条评估,把「问题出现」和「改动覆盖」分开记录,在无关任务上跑对照抓副作用。结论对一切 memory 与 skill 沉淀机制适用:沉淀之后要有验证与回收,无效改动会一直躺在 harness 里,甚至添活。
作者自述:验证 issue 特意挑会复现目标问题的,会高估改动在任意后续任务上的帮助率;改动在原会话容器里实现,文件可能带建议文本之外的信息;第一作者标注时看得到 trace 里是否读过转移文件,不算全盲;每组 5 个会话、7 组 informative,只够描述这些案例,撑不起统计结论。
两条边界还要点破。样本偏环境问题,后 20 个 issue 正因那些仓库环境问题多才入选,代码导航、编码规范类改动一个没评,标题里的自我进化实际只测了环境适配一角。定性编码由两个 LLM 完成,论文自己说明其一致率反映两种输入的一致性,不是人类评分者间信度。全程只测了 Claude Code 一个 agent、/retro 的一个 commit。