Agent Self-Improvement with Frozen Weights: The Added Value and Limits of Failure Traces
Arkid Mitra
cs.LG, cs.AI, cs.CL
2026-11-08
冻结 Qwen3.5-9B 上,失败笔记比同等盲搜的客服决策高 4.0 个百分点,完整对话和工具调用留出集都没复现。
小开源智能体上线后,权重常常冻住。还能改的是 harness:提示、笔记、工具和控制逻辑。教师顺着失败轨迹改这些笔记。只比较改前和改后,会把反复提案、留下高分文本的搜索,和真正读过的失败混在一个涨点里。
搜索不用读任何失败也能涨点。轨迹多出来的部分,要用同一写手、同一预算、但看不到轨迹的盲搜来扣。近作里,这种失败经验很少迁到没见过的任务。
智能体是 Qwen3.5-9B,用 vLLM 部署,thinking(内部思维链)关掉,权重不更新。笔记放进系统提示的一个槽,空槽就是标准 harness。
τ²-bench retail 是有成文政策的客服域。决策层把合成对话停在一个决策上,对照固定答案,封存测试 2997 条,覆盖改地址、改规格、改顺序。对话层是官方 114 个任务各 4 次,版本钉在 v1.0.1,后出版本的分数不可比。BFCL 是多轮函数调用评测,要用的事实都在请求和工具里,问用户替代不了正确调用。200 个任务根分成发现 50、门控 30、留出 120。
笔记形如「WHEN 情境 THEN 动作」。τ² 写手 Qwen3.8-Flash-Next-FP8 反复提案,在验证集上留下更高分的文本,每项任务 12 个种子。任务说明里已经写了目标规则,测的是 9B 肯不肯照着做。BFCL 写手 Qwen3.5-397B-A17B 读了 198 条发现轨迹。盲搜沿用同一套循环。τ² 把轨迹换成一句固定的话,BFCL 把轨迹换成函数文档。另有一条没有步骤的中性笔记,只在 BFCL 上,用来看加一段文字本身会不会改行为。
单条笔记另做门控。候选随机开关,层次贝叶斯把各场景的效应合在一起。过门要可信增益超过 1 个点,每个场景跌超 1 个点的概率低于 0.10,并且伤害有上界。规则在开数据前预注册。BFCL 做了盲审计,评审只看题目,缺陷清单在开结果前冻结,官方分仍是主指标。
pass^1 是单次试验的任务成功率。决策层的点估计没有达到预注册里「值得」的 5 个点。
| 设定 | 对比 | 结果 |
| τ² 决策准确率 | 标准 / 盲搜 / 轨迹笔记 | 70.3% / 76.8% / 80.9% |
| τ² 决策 | 轨迹笔记 − 盲搜 | +4.0 [+2.3, +5.7] |
| 相对标准 harness | 轨迹笔记 | +10.5 [+8.5, +12.5] |
| τ² 对话 pass^1 | 轨迹笔记 − 标准 | -1.3 [-5.9, +3.3] |
| BFCL 留出 | 过门搜索笔记的增益 | -0.31 [-3.65, +3.12] |
| 计分缺陷 | 留出 / 门控 | 146/240、42/60 |
轨迹笔记比盲搜高 4.0 个点,优越性检验通过,区间仍盖得住更大的增益。错误写入(跟标准答案不一致的写操作)少了 3.1 个点 [-4.6, -1.7]。相对标准 harness 的 +10.5 里,盲搜占 6.5 个点,大约六成,而且全部落在说明里已经写明规则的那项任务上。
官方对话没有显示出提升。pass^1 从 82.9% 到 81.6%。开发时没用过的 40 个任务上,差是 -0.6 [-6.9, +6.3]。先改商品、再改地址的对话从 6 次降到 0。τ² 奖励最终状态,中间步骤可以白变。
τ² 门控看了 1200 个前缀上的 20400 次决策,12 条候选放过 2 条,没有留出测试。「先改地址」+4.7 [+4.0, +5.4],「只列出第一处改动」+2.7 [+2.0, +3.4],合在一起 +7.4 [+6.3, +8.4],都是 90% 可信区间。四条催人再问、再确认的笔记被拒。第一条和盲搜写出的规则几乎逐字相同。
BFCL 门控 2820 次运行里,8 条轨迹笔记都没过,估计在 ±2.5 个点以内。过门的是盲搜写的「目录未知就调用 pwd」,+4.9 [+1.9, +8.0]。18 条干净样本上变成 +3.9 [-0.4, +8.3],区间含 0。留出集 5760 次运行的增益是 -0.31,Holm 校正(一种多重比较校正)后 p = 1.000,门控时的 +4.9 落在区间外。八条轨迹笔记不经门控直接评估,标准 harness 减去它们是 -0.52 [-4.38, +3.33]。
中性笔记比标准 harness 高 4.5 个点 [+0.7, +8.4],高于两组学出来的笔记。这是未做多重校正的描述性结果,「高于两组笔记」这个观察没有预注册。干净子集上缩到 +3.4 [-1.9, +9.1]。留出集 146/240(60.8%)、门控集 42/60 有明显计分缺陷,κ = 0.84,几乎都是正确答案被判错。干净留出样本上,笔记大约低 6 个点:标准减搜索笔记 +6.0 [+0.2, +12.0],减八条轨迹笔记 +6.2 [-0.5, +13.2],Holm 后 p 为 0.149 和 0.153。主结论按预注册仍用全量官方分。
不设盲搜,决策层涨点会从 4.0 被报成 10.5,大约 2.6 倍。这 4.0 个点测的是教师会不会把已知规则写成 9B 肯执行的句子。完整对话和留出的工具调用都没有复现。
已发表的 τ² retail 配置里,同样试验重复四次,33% 到 55% 的任务判决会翻转。中性笔记比学出来的笔记分更高,之后要跟一条没有步骤的说明比。分析代码、预注册和缺陷清单公开,实验套件需向作者索取。
只覆盖关掉 thinking 的一个 9B、两个基准、一个教师家族。决策题是快照,智能体不能继续探索,也不能收回写错的调用。τ² 的任务说明写了目标规则,决策层不检验能不能发现规则。BFCL 的盲搜多看了函数文档。
注册的教师在出结果前被换掉。τ² 门控因目录丢失整批重跑,0.27% 的行曾由原始数据库回答读调用,去掉后入选笔记不变。BFCL 用温度 0.7,官方解码温度是 0.001。计分序列化是跑完后修的,能对上的判决逐字节相同。
过门的两条客服笔记没有新数据,增益也不能记在轨迹上。留出集约六成题目计分有缺陷,干净子集上笔记更差,校正后不显著。区间盖得住正负几个点,得不出笔记无效。