Can LLMs Improve Their Own Harness? A Controlled Study on ARC-AGI-3
Jens Lehmann, Sahar Vahdati
cs.AI, cs.SE
2026-10-22
二十七条谱系从空白仓库写成 harness,再凭五个开发游戏改了两轮,留出平均 RHAE 只升 2.80,区间含零。
模型外面那段程序规定它看见什么、记住什么、用哪些工具、失败如何恢复、推理预算花在哪。它叫 harness。ARC-AGI-3 是交互格子游戏,每步给出 64×64 彩色网格,不告诉智能体物体含义、动作后果和过关条件。主分 RHAE 只奖励完成的关卡,动作超过隐藏人类基线就按平方折扣,后面的关更重。
人设计过的系统能在公开游戏上打到 100。Tycho 用 GPT-5.6 Sol（最大力度）和 Opus 5 xhigh 都是满分。简单壳低一截:Sol 配上推理保留和压缩,公开集 38.3;Claude Code 配 Opus 4.8/Fable 5 为 42.83。好设计已经存在。问题是模型能不能自己写 harness,再凭自己的对局改好。
同一个模型配置做两件事:内环用任务 harness 玩游戏,外环用固定编程壳 OpenCode 改这份代码。权重不动,轮次之间没有人改稿,也没有新提示。
起点只有任务说明、客户端和定价,没有求解器,也没有现成规则。模型要交一个免交互的 run.sh。冒烟不看分数:两个开发游戏里必须有计费动作并正常结束,每局最多 50 步、两关为止,失败最多修 10 次。
初版在五个预先指定的开发游戏上跑,即 tr87、vc33、r11l、bp35、ft09。修订收到冻结的源码、轨迹、分数和美元成本,可以保留父版。然后再修订一次。另外 20 个公开游戏不参与构造、修订和选择。九个条件各三条谱系,27 条全部完成,81 个快照统一评估。
适应差距是开发集涨幅减去留出集涨幅。为正,就表示反馈局上的进步没有等量转到留出局。
初版留出均值 24.54,范围 0 到 97.14。一条 GPT-6 Astra high 从 97.14 到第二版 97.55;三条 Claude Sonnet 5 high 的第二版是 0.11、0.81、0.14。能运行和能打分,是两回事。
两轮后开发集 +8.42,留出集 +2.80,95% 区间 [-1.44, 7.35] 含零。27 条为 15 升 12 降,符号检验 p = 0.70。按 ±5 分的门槛,未定的是 15 条,升 9 条,降 3 条。13 个留出游戏上升、7 个下降,lp85 为 +20.44,sb26 为 -15.03。整局通关从 73/540（13.5%）到 94/540（17.4%）。
适应差距 5.62,区间 [1.78, 9.77],不含零。开发集涨幅高估了留出收益。
| 部署策略 | 留出 RHAE | 相对初版 | 每局美元 |
| 保留初版 | 24.54 | 0 | 10.30 |
| 总是用第二版 | 27.34 | +2.80 | 7.57 |
| 按开发集挑快照 | 29.06 | +4.53 | 9.15 |
| 留出先知上界 | 30.66 | +6.13 | 9.80 |
事后按开发集选快照,入选三代的次数是 9/6/12,留出增益 4.53,区间 [0.81, 8.68],每局 9.15 美元。规则未事先注册。
四格是 9、6、9、3 条:分数和成本都更好,分数更好但更贵,更便宜但掉分,两边都更差。均值成本降 2.72 美元/局,单条变化的中位数只降 0.54 美元。一条 Sol xhigh 两轮后从 43.95 到 21.99,成本从 31.39 降到 7.18 美元/局。一条 Sol high 第二轮把决策上限从 100 调到 120 等几处,留出分从 29.24 到 53.56,成本从 8.19 到 8.15 美元。
Opus 5 xhigh 的第二版均值 39.95,Tycho 在这 20 局里都是 100。Tycho 用全部 25 个公开游戏选策略,对比隔离不出人参与设计的作用。花费至少 18129.27 美元。
27 条都能从空仓库做出可运行 harness,并完成两次修订。54 次修订都看过开发证据,改动都对准至少一条有证据的问题,入选版本也通过近端检查。即便如此,留出仍有升有降。大改的即时留出变化平均 +3.75,限在原策略内的为 -0.20,差值区间含零。
首轮 22/27 重排记忆、回放、调用或预算,4 次扩展,1 次以保留为主。次轮为 12 次重排、12 次扩展、3 次保留。没有谱系更换 harness 家族。中位代码行数从 2161 增至 2912。
允许保留父版,27 条计分轨迹却都改了代码。证据弱时不会停手,开发局上的偶然进步就会留下来。生成修订和决定采纳,要分开测。
只有一个基准、五个开发游戏和两轮修订。游戏公开,训练时可能见过。每条件仅三次,Opus 5 xhigh 留出变化 +8.68,Sol xhigh 为 -0.05,排不了名次。
同一 Sol high 终版重测十次,套件标准差 3.99,单局中位标准差 18.78。主实验每快照只测一次。该谱系十次都高于初版 20.38。全池 +2.80 的区间含零,不能当成稳定的平均改进。
标签来自两遍 GPT-5.6 Sol xhigh,没有人类复核。诊断、保护旧策略、资源元推理低于 0.67,未拿来解释。关联不是因果,分数也和美元缠在一起。去掉开发游戏 r11l 后,差距从 5.62 降到 3.02,但修订仍用了五局全部反馈。