Learning Meta-Skills for Agent Harness Design in Test-Time AI4AI
Cheng Qian, Kunlun Zhu, Beibin Li, Zhenhailong Wang, Heng Ji
cs.AI, cs.CL, cs.LG
2026-09-30
Builder 从 Target 执行反馈中学出可复用 meta-skill 并编译成任务级 harness,三个 Target 两基准宏平均 65.31%,比无技能搭建高 8.95 分,比直接投递技能高 12.02 分。
Agent 的成绩由两块决定:模型的推理能力,和它所在的执行环境。同一个模型,工具齐全、带验证回路时能解的题,丢进裸环境照样翻车。现有改进路线要么动权重(RL、微调),要么在系统层自动搜索 agent 程序与 workflow,要么把执行经验总结成技能文本、推理时塞回 prompt。最后这条路的短板是知识停在声明式层面:执行时仍要靠模型自己读懂、记住、用对,一步掉链子就白搭。
论文的类比:能力很强的博士生因为实验配置散落各处天天重复劳动,好导师不替他做实验,只搭共享日志、可复现工具和验证流程。这篇就让 Builder 模型当这个导师,从 Target 模型的执行反馈里学怎么搭环境,两边权重全程冻结。
核心概念是 meta-skill,一条结构化的支持原则,固定三个字段:
学习在开发集上跑一个构建-执行-反思循环:Builder 从空技能库出发,为每个开发任务搭一个 harness;Target 执行后留下公开记录和得分;Builder 复审自己的 harness 与执行反馈,决定新增、修订或不动技能库。每批最多一次更新,且必须引用本批观察到的证据。两轮开发集过后技能库冻结。
测试时,冻结的库以全库或 BM25 检索 top-2 交给 Builder,它为每个新任务现搭 harness,组件覆盖七族:指令、记忆、上下文组织、组合工具、执行控制、验证与恢复、工作区准备。产出是代码级机制,比如文件版本记忆加审计门控提交,不止一段提示词。
两个设计选择单独说。三元组结构迫使每条原则写清触发条件与责任边界,基线里把轨迹总结成自由笔记的 mined free-form 技能明显更弱,佐证了结构的价值;把技能交给 Builder 编译,则把「理解并正确应用建议」的负担从推理时挪到构造时,后面对照里最大的增益正来自这一步。
Builder 固定为 GPT-5.6-Sol,Target 是 Gemini-3.6-Flash、Qwen3.8-Flash、GPT-OSS-120B。Harness-Bench 考 agent workflow(95 个测试任务),NewtonBench 是交互式科学定律发现(292 个),各留 10% 任务学技能。
| 方法 | 宏平均 |
| 原生环境,无 Builder | 51.40% |
| Builder 搭环境,无技能 | 56.36% |
| 同一份技能库直接给 Target | 53.29% |
| 独立学出的结构化 Target 技能 | 54.38% |
| Builder meta-skill,BM25 检索 | 60.45% |
| Builder meta-skill,全库 | 65.31% |
可带走的结论:经验该编译进环境,不是堆进 prompt。同一份知识,交给会写代码的一方变成工具、状态、验证逻辑,收益远大于让执行方推理时自己领会,12.02 分就是两条路径的价差。落到日常,对应物是「与其把检查写成更长的 system prompt,不如写成脚本」。同模型那组 +18.71 分还给出一条不动权重的自改进路径,与 RL、微调正交。
论文自己划的边界:证据只覆盖一个主 Builder、两个基准,每任务每条件只执行一次;Builder 搭 harness 的算力不计入评测预算,也没拿增益对照过这部分成本。技能打磨不单调,Harness-Bench 上 Qwen 第一轮见顶后回落 4.06 分,修订会过拟合近期证据。跨 Builder 迁移的增益置信区间全部含零,记忆加上下文的消融同样下不了结论。
读下来另有两点。开发集只有 11 和 32 个任务,技能库最终多少条、每条触发多少次没有披露,泛化边界不清;主表增益全部经 GPT-5.6-Sol 一人之手,换个弱一点的 Builder 还剩多少,迁移一节碰到了这个问题但没有回答。