兄弟 harness 只补全失败任务,4B 回原架后三项均超 9B 的 H0 补采样

Harness-S: Learning from Sibling Harnesses for Generalizable Agent Training

Kangning Zhang, Wenxiang Jiao, Bowen Fang, Shuai Shao, Jiachen Zhu, Rong Shan, Shijian Wang, Hao Wang, Yuan Lu, Weiwen Liu, Weinan Zhang

cs.AI

2026-11-03

Harness-S 只在基座执行全部失败时,用兄弟 harness 补上新轨迹并做 GRPO;Qwen3.5-4B 回到原架后,三项基准都超过 9B 的 H0 补采样,其中 AppWorld 的 Pass@3 达到 67.56%。

这篇在解决什么

Agent 的成绩由策略和 harness 一起决定。harness 是包住策略的执行层,包括提示、工具接口、上下文和记忆,以及把决策变成动作的规则。从同一基座 H0 演化出的变体,共享执行地基、环境接口和验证器,只改如何扶持策略。这篇以 DeepSeek Harness 为基座,这类变体叫 sibling harness,即兄弟 harness。要检验的是,这些执行支持回到 H0 之后是否还在。

Qwen3.5-4B 在 AppWorld 上的演化有三个现象。Locality(局部性):修改常常只修好一部分失败,同时让原先能解的题退步。Complementarity(互补性):不同兄弟接住不同的错;每个变体各执行一次再取并集(oracle 并集),盖过单个变体,也盖过用同样条数反复采样 H0 的 pass@K。Nonstationarity(非平稳):策略一训练,某个 harness 相对 H0 的优势可以变成劣势,排名会在 checkpoint 之间对调。

把局部修补收成一个万能 harness 很难。执行要求可能互斥,放进同一设计的改动也会互相干扰。harness 与策略交替更新同样贵:旧修补随着策略变化失效,变体要反复生成和验证,组合增益回到 H0 也未必还在。Harness-S 用兄弟补基座失败,再把因此出现的行为收进同一条策略。

方法

兄弟池离线长成,训练期间代码冻结。定向演化(Directional Harness Evolution)从 H0 出发。每一代在新训练题上诊断失败,把多个失败共同支持的根因收成一个修补方向,编辑器只改这一小簇。有的变体把「猜字段名」改成先读 schema,有的把「翻一页就停」改成一直翻到末页。下一轮最多留 B 个父代,按联合验证覆盖来选,同一道验证题只算一次,优先互相补洞的变体。可执行且符合协议的子代全部进入 Sibling Harness Pool,当不当下一轮父代都留。

互补补救训练(Complementary Harness Rescue Training)只处理 H0 搞不定的题。每题先用当前策略在 H0 下采 K 条轨迹,流程图和案例表里的 K 是 8。组内有一条成功,就用原组更新。全部失败时,路由器选出 k 个兄弟 harness,同一策略从该题初始状态各跑一条新轨迹,用这组替换全失败组,再做 GRPO。GRPO 按一组轨迹内部奖励的相对高低计算优势,再更新策略。全失败组里没有可比较的奖励,补救组同时有成功和失败,优势才算得出来。更新只作用于策略 token,上下文仍是产生该轨迹的 harness。

Adaptive Harness Router 不在该题上先试再选。Harness Behavior Profile 记录某个兄弟相对 H0,在什么任务条件下有帮助、什么条件下添乱,由 LLM 从成对验证轨迹归纳成条件和行为。多个 LLM 独立打分,输入是任务、画像、验证成功率和相似题结果,名次越前权重越高,没进名单的权重为零,取得分最高的 k 个。策略在变,画像会过期。policy-aware profile re-anchoring 在检查点冻住当前策略,按相同任务和执行限制重跑各兄弟与 H0 的验证轨迹,刷新画像。测试集不参与。

推理阶段的 Rank-1 复用这套打分:开跑前从包含 H0 的整个池里为每题选一个 harness,executor 的 rollout 次数与一直用 H0 相同。

结果

模型是 Qwen3.5-4B 和 Qwen3.5-9B。基准是 AppWorld(应用 API)、SWE-Gym(软件工程)、DBBench(数据库)。Pass@3 是三试至少成功一次的题比例,Avg@3 是三次成功率的平均。主表是三次独立运行的均值,每次每题 3 条 rollout,八卡 H800。对照包括普通 GRPO、全失败后仍在 H0 上补采样的 GRPO(H0 rescue)、与 Claude Code 或固定 Top-4 兄弟混合的 GRPO,冻结策略的 Meta-Harness 与 Harness-S(HE only),以及联合演化的 WHALE、HarnessForge。

4B 撤掉辅助架、回到 H0:

基准Harness-SGRPOH0 rescue
AppWorld Pass@3 / Avg@367.56 / 56.8760.31 / 48.9861.83 / 51.91
SWE-Gym Pass@3 / Avg@338.75 / 28.7524.38 / 22.5025.63 / 23.33
DBBench Pass@3 / Avg@373.33 / 71.0066.67 / 64.0067.33 / 64.67

Harness-S 给出三次运行的标准差,4B 在 H0 上的 AppWorld Pass@3 是 67.56±1.87。

9B 回到 H0 后同样高于同尺寸 GRPO。Pass@3 / Avg@3:AppWorld 72.52 / 62.34,对 GRPO 的 64.89 / 53.31;SWE-Gym 40.00 / 32.50,对 28.13 / 25.63;DBBench 76.33 / 73.44,对 69.67 / 67.00。相对 9B 的 H0 rescue(65.65 / 54.83,29.38 / 26.88,70.67 / 67.78)也更高。

不增加 rollout、按题做 Rank-1 之后,4B 的 Pass@3 升到 AppWorld 68.32、SWE-Gym 42.50、DBBench 75.00,每一项都超过 9B 的 H0 rescue。9B 的 Rank-1 在 DBBench 上 Pass@3 78.00、Avg@3 75.67,两项都高于 GPT-6-Sol、DeepSeek-v4-Flash、GLM-5.3-Flash(该基准 Pass@3 最高 76.67,Avg@3 最高 72.11)。AppWorld 和 SWE-Gym 仍低于前沿,GPT-6-Sol 的 Pass@3 是 82.82 和 53.13。

冻结初始策略时,Harness-S(HE only)在 4B AppWorld 的 Pass@3 为 56.87,测试时按题选 harness。Meta-Harness 用一个跨题固定的 Hbest,Pass@3 为 48.09。训完回到 H0 的 67.56 高于这个冻结结果,也高于 WHALE 在其 Hbest 上的 63.36。

AppWorld 4B 上,有效组(保留组里同时有成功和失败)的比例,Harness-S 整次训练为 79.38%,H0 rescue 为 70.94%,普通 GRPO 为 64.69%。这些有效组占保留策略 token 的比例,Harness-S 为 80.88%,H0 rescue 为 72.68%。同一验证集上,三者的 H0 成功率最后是 63.33%、54.00%、48.00%。两种固定混合的验证曲线收尾都低于普通 GRPO。

补救分配在同一 rollout 预算下比过一轮。随机兄弟最终 Pass@3 / Avg@3 为 62.98 / 50.76;不看画像、只按相似验证题成功率排序的 Rule Router 为 66.41 / 52.93;四个 harness 各采样两次为 65.65 / 55.60;画像冻结的 Top-8 为 64.50 / 52.16;训练中重锚画像的 Top-8 为 67.56 / 56.87。相对冻结画像,四个阶段的补救成功率都更高,Avg@3 高 4.71 个百分点。补救成功率是触发补救的题里至少成功一条的比例。同一最终策略下,单个兄弟补上 11 到 15 个基座失败,九个被分析的兄弟并集是 29 个。并集是每个兄弟各执行一次的覆盖,路由器必须在看到结果之前选择。

H0 下的动作分布变了。表中百分比是完整轨迹里出现该动作的比例。AppWorld 上,第一次 API 调用前先查 schema:基座策略 22.9%,GRPO 38.2%,Harness-S 67.6%。重复执行代码从 GRPO 的 30.1% 降到 9.8%。SWE-Gym 上,测试被挡住后改写 assertion:Harness-S 48.5%,GRPO 13.3%。两个留出案例对得上。交集题里,H2 在第 10 次更新只留两边都有的歌曲;GRPO 在新题上取并集,失败;训完策略在 H0 下做对。账号找回里,H5 在第 3 次更新读码、改密并验证 Venmo;训完策略把这套步骤用到 Amazon,GRPO 读了信,密码没改。

路由器名次在训练前后都预测分数,从 Rank-1 到 Rank-3,Pass@3 和 Avg@3 都下降。H0 自己被排在 Rank-1 的题,从 1.53% 升到 22.52%。Rank-1 相对 H0 的优势,Pass@3 从 14.21 个百分点收到 0.76,Avg@3 从 13.49 收到 4.58。训完策略只跑 H0,已经超过 Rank-2 和 Rank-3。

换到没有参与这次策略更新的 Claude Code 和 OpenClaw,4B 相对普通 GRPO 的 Pass@3 仍然更高。AppWorld 上,DeepSeek Harness、Claude Code、OpenClaw 分别高 7.25、9.16、4.96 个百分点;SWE-Gym 上高 14.37、12.50、10.62。两条外部 harness 的绝对分数仍低于 DeepSeek Harness。

为什么重要

harness 演化不必和策略绑在同一条更新里。池子离线固定,只在全失败的题上补组内对比,评测回到 H0。4B 因此超过同优化器的 9B H0 补采样。H0 rescue 用的是同一触发条件,多出来的基座采样没有拉开同样的差距。

部署可以只换策略,执行系统保持不动。还要多次尝试更稳,就加 Rank-1,rollout 预算不变,Avg@3 上仍有 4.58 个百分点。这个池能否直接套到另一条策略上,正文没有证据,留在后续工作里。

相对前沿模型,边界是清楚的。9B 的 Rank-1 在 DBBench 上超过表内前沿参照,在 AppWorld 和 SWE-Gym 上没有。DBBench 更依赖查询和校验习惯,不能当成小模型已经追上闭源系统。

局限与存疑

转移停在半路。训练之后,Rank-1 的 Pass@3 只比 H0 高 0.76 个百分点,Avg@3 仍高 4.58。新会做的题大多进了策略,多次尝试稳不稳,还看按题选架。外部 harness 保住了相对 GRPO 的差距,绝对分数掉回 DeepSeek Harness 之下。界面仍在决定这些习惯能不能把题做完。

两个案例一个来自留出测试实例,一个来自留出验证实例,都是某次补救进入更新之后的个例。正文没有给出补救行为被留下的比例。

路由器看不到正在分配的那道题的真实结果。九个兄弟的并集补 29 个失败,单个只有 11 到 15,差额来自事先选择。补救成功率也不决定最终名次:Rule Router 的 Pass@3 高于四个 harness 各采样两次,Avg@3 更低。

实验只覆盖 Qwen3.5 的 4B 和 9B、三个基准、三次运行乘以每题三条 rollout。兄弟池对着初始策略演化,训练中只刷新画像,不改 harness 代码。WHALE、HarnessForge 和 Meta-Harness 报告的是跨题固定的 Hbest,Harness-S 的 Hrank1 按题选择,测试条件不同。各方都回到 H0 的对比更干净。正文没有绝对 GPU 小时,只说全流程的 GPU 时间和外部模型 token 落在联合演化基线的区间内,并且 AppWorld 4B 上比 H0 rescue 用了更少的 rollout 和训练 GPU 时间。

后续要看增益能留多久,池子能否跨策略复用,独立写成的 harness 怎样跨界面交换任务状态,以及再增加修补多样性是否还划算。能站住的范围是:在同一套执行地基上,用互补兄弟补全失败组,可以把一部分执行习惯写进小模型。

术语

原文与代码

相关论文

全部论文解读