Mixture of Self-Improving Branches For Agent Harness Optimization
Haoyu Dong, Yuhang Zhou, Zihao Lin, Yifan Wu, Bo Peng, Mingyi Wang, Xiangjun Fan, Lizhu Zhang, Zhuokai Zhao
cs.AI
2026-09-29
两路分支各自改开发集和提案策略，再按题路由。相对Meta-Harness，奥数准确率从46.0%升至62.0%。
Agent 的上限同时卡在底层模型和外面那层 harness。harness 是检索、工具接口和控制流的代码壳，决定模型看见什么、能调用什么、何时验算或返工。Meta-Harness 已经把这层壳当成可执行程序来搜：agentic proposer（根据旧代码、分数和轨迹写新 harness 的代理）迭代改实现，再在固定开发集上打分。这是 recursive self-improvement（RSI，用上一轮执行反馈驱动下一轮修改）里一种能跑通的形态。
固定开发集有盲区。总分落后、却能解掉领先者解不出的题的候选，很少有机会被接着改。提案指令也从头锁死，不会跟着已经冒出来的特长和反复失败改探索方向。搜索被压成一条轨迹，容易停在局部最优。
搜索拆成 B=2 条并行分支，每条自带开发子集、候选历史和提案指导 SKILL.md。proposer 是 Claude Opus 4.6，每轮每条分支产一个新 harness，在当前子集上按平均奖励打分。起步时种子、全量开发集和初始指导完全相同。
开发子集按前沿覆盖改归属，有点像按谁更会这题把练习册拆给两个小组。每条分支取当前子集上均分最高的 q=5 个 harness 当 frontier，对每个开发 case 数它被几家解对：所有 frontier 都解对就全员删掉；某分支至少多解 Δ=2 次，这题归它、别人丢掉；分差不到 Δ 则不动。提案指导每 Cs=5 轮用本分支近期记录改一版。子集改奖励什么，指导改下一刀往哪砍。Math-Gemini 上两支分别长出答案核对与证明分流，以及自由推导、双边闭合和对两路一致的挑战。第 13 轮 Branch 2 子集从 44 收到 40，自由推导版换掉几何感知 head，后续提案沿着新 head 长。
部署时测试分不可用，不同子集上的开发分也不可比。每条分支只留最终子集上最好的 head，路由器执行前按题选一个。标签来自恰好被一个 head 解对的开发 case，路由指令用 GEPA（反射式提示演化）优化。默认 N=20 轮，开发子集每轮更新。
harness 只按开发表现选，分数都在 held-out 上测。
| 设置 | 最强固定基线 | Meta-Harness | 分支路由 |
| Math · Gemini 3 Flash | BM25-geometry 46.5% | 46.0% | 62.0% |
| Math · Claude Sonnet 4.5 | BM25-geometry 27.0% | 29.0% | 30.5% |
| Terminal-Bench 2.0 · Sonnet 4.5 | Terminus-KIRA 43.1% | 44.8% | 50.0% |
| SWE-bench Lite · Sonnet 4.5 | mini-swe-agent 62.8% | 63.6% | 66.0% |
相对 Meta-Harness，奥数 Gemini 相对提升 34.8%（46.0% 到 62.0%），Sonnet 5.2%；Terminal-Bench 2.0 相对提升 11.6% 到 50.0%；SWE-bench Lite 相对提升 3.8% 到 66.0%。相对最强固定基线分别是 33.3%、13.0%、16.0%、5.1%。除一组 Gemini 3 Flash 外，action model 都是 Claude Sonnet 4.5。
两个 head 互补：并集比更强单头绝对高出 4.0 到 9.0 个百分点，Math-Gemini 并集 67.0%、单头最高 58.0%。路由器在 Math-Gemini 做到 62.0%（比更强单头高 4.0 个点），在 Terminal-Bench 2.0 做到 50.0%（对 48.3%）；Math-Sonnet 和 SWE-bench Lite 各少对 1 道。路由器比并集低 4.4 到 5.5 个点，Math-Gemini 独占成功只收回 75.0%。
Math-Gemini 消融里，开发集每 5 / 3 / 1 轮更新得 53.0% / 56.0% / 62.0%；剪枝和指导都关 51.0%，只开指导 50.0%，只开剪枝 54.0%，两个都开 62.0%。只改提案策略几乎等于两条独立 Meta-Harness。更贵：全流程 token 约 1.55 到 2.16 倍（Math 172.90M 对 79.92M，Terminal-Bench 2.0 为 4001.39M 对 2366.80M，SWE-bench Lite 为 2951.48M 对 1907.17M），任务求解 token 是 1.21×、1.71×、1.50×。
动的是搜索导向。开发集选、held-out 测，躲开了在搜索任务上报分的虚高。路由器不用测试标签就能接近甚至超过更强单头；Math-Gemini 上测试最优单 harness 是 58.0%，路由后 62.0%。
已经在跑 Meta-Harness 这类循环、开发集有可执行奖励、并接受约 1.2 到 2.2 倍 token 的团队，可以直接套。检索增强奥数和 Terminal-Bench 长程任务涨得清楚。SWE-bench Lite 和 Math-Sonnet 是几个点的渐进改进。论文只报了 B=2、N=20。
论文自己写了：总 token 不等、重复实验少，效率和稳定性结论站不稳；两条设置里路由器略低于更强单头；消融证明组合有效，证明不了每一次轨迹改向都造成了后来的测试增益。
只试了两条分支。Math-Sonnet 绝对增益 1.5 个点（29.0% 到 30.5%），Gemini 上是 16.0 个点，方法对 action model 很敏感。路由器相对并集还差 4 到 5 个点。三个 benchmark 都是一次随机切分。Meta-Harness 在 Math-Gemini 上开发选 46.0%、测试选能到 49.0%，开发排名本身就不稳。