Agent 卡住就进站修 harness,微软 BOXBOX 长任务提速至 1.70 倍

BOXBOX: Recursive Harness Self-Improvement for Long-Running Performance Optimization

Yuhao Tan, Hanyun Jiang, Fangkai Yang, Yuan Yao, Taolue Chen, Bo Qiao, Yu Kang, Lu Wang, Pu Zhao, Xiaoxing Ma, Qingwei Lin

cs.SE, cs.AI

2026-11-06

让 agent 在 4 小时长任务中自己触发修改并热加载自身 harness,PerfRace 上 Speedup@4h 达 1.70×,超最强基线的 1.54×,成本还降 29.3%。

这篇在解决什么

LLM agent 的能力靠 harness 落地:harness 是 agent 的可执行脚手架,含提示词、工具和执行逻辑,决定模型能调用什么动作、看到什么观察。同一个模型换套 harness,表现能差出一截,于是出现了自动优化 harness 的方法:让优化器读轨迹和评测反馈,改写 harness 再复用。

现有做法基本是离线的:在训练任务上借参考答案诊断失败、迭代修改,学一套「通用」harness 给测试任务用。真实任务却常是开放式、跑几个小时的。一来开放式任务没有清晰失败判据,离线诊断无从下手;二来长跑会不断暴露任务特有的困难,别的任务上学来的修改未必适用。论文里有现成反例:离线 harness 进化(HE)在他们的新基准上 4 小时只做到 1.281× 加速,低于完全不改的 Frozen Harness 的 1.442×。

测试时改 harness 的路线也有,但靠外层循环:外部控制器安排更新时机,更新发生在两次尝试之间。任务 agent 眼看进度卡住,却无权决定剩余预算该继续干活还是修工具,新 harness 也要等下一轮才生效。微软联合南京大学等机构的这篇工作,对准的就是这些软肋。

方法

论文先造尺子再造方法。

PerfRace 基准:从 GitHub coding agent 的提交活动挖出 103,475 个候选项目,预检查筛到 7,257 个,再由 GPT-5.6-Luna 评估优化潜力筛到 239 个,最后经 agent-human 配对验证产出 100 个任务,平均每个花 9.1 小时策展、12 轮人机交互。任务覆盖 7 个领域、16 种语言,形态是端到端 workload:给定真实项目和固定负载(比如用 CCC 编译器编译 SQLite),不给参考优化 patch,agent 自己 profile、找瓶颈、改代码,4 小时内随时提交,得分取保持正确性的最优加速比。防作弊靠影子验证:评测在独立容器里跑,验证代码和 held-out 用例不进 agent 的 workspace。

BOXBOX,名字取自 F1 进站指令「box, box」。它把「何时修 harness」的决定权交给任务 agent,靠内核管的热加载落地:

修改的取舍标准是剩余预算下的预期收益,典型动作如把反复出现的工具调用序列合成一个可复用工具。

结果

50 个测试任务、每方法 3 次 4 小时运行,统一用 GPT-5.6-Luna 和初始 harness Terminus-KIRA:

方法Speedup@4h模型成本/runSpeedup/$
Frozen Harness1.442×$23.220.2142
Harness Evolution(离线)1.281×$24.560.1243
Harness Scaling(外层控制)1.539×$12.980.2872
BOXBOX1.702×$16.430.4886

拆开看:

为什么重要

对做 agent 基建的人,这篇把 harness 优化从上线前批量调参变成运行中按需自修,且证据显示 agent 自己的时机判断胜过定时器和外部控制器。保留执行上下文的热加载是关键工程贡献:HS 那种重开会话省了 token,却丢了已做过的实验结论;BOXBOX 两者兼得,单位美元的加速产出(0.4886)约为 Frozen 的 2.3 倍。

PerfRace 本身也值得跟进:现有代码优化基准(PIE、GSO、SWE-Perf)围绕已知性能补丁造任务,PerfRace 给端到端 workload、不给参考答案,更接近真实性能工程,构造管线能持续从 GitHub 挖新任务,不容易饱和。

也要说透:1.70× 对 1.54× 是单一基准上的渐进改进,不是数量级差距,核心主张(agent 自控、全量编辑、上下文保留)各有消融支撑。

局限与存疑

论文用专门一节自述安全风险:agent 在任务中改可执行 harness,风险面大于固定 harness,可能引入安全回退、削弱既有防护,自修改机制也可能被用来绕过运营方的控制。内核验证加回滚只是实验环境保护,不构成完整安全边界;BOXBOX 是研究原型,生产部署还需沙箱、访问控制、监控和人审。这是自修改 agent 绕不开的问题。

没验证的点:全部实验只用 GPT-5.6-Luna 一个模型,换更便宜的模型是否还值得分预算给 harness 修订,没有数据;消融只覆盖 14 个任务;HE 的失败有一部分源于适配(训练 run 被压到 45 分钟),离线路线的下限可能被低估。另外 review 只占 2.1% 时间却带来明显增益,合理的解释是收益来自优化流程的质量,但论文没有把「改 harness 的因果贡献」和「多一次反思机会」分开度量。

术语

原文与代码

社区讨论

相关论文

全部论文解读