研究：LLM 自我重写 Agent harness 两轮仅提升 2.8 分且不显著
omarsar0 · x · 2026-10-25
arXiv 论文《Can LLMs Improve Their Own Harness?》(Jens Lehmann、Sahar Vahdati)在 ARC-AGI-3 上做了受控实验：让各前沿模型从一个固定 coding bootstrap 出发，自主写出完整 harness,在 5 个开发游戏上运行后再两次重写整个代码库，并在 20 个从未参与重写的 held-out 游戏上用 RHAE(相对人类效率)评分。
关键结论：
- 27 条 lineage 中，首次 harness 成绩从零分到接近天花板不等，但两轮自我重写平均只提升 held-out RHAE 2.80 分，95% 区间 [-1.44, 7.35] 跨越零，不显著
- 开发游戏上的提升高估了泛化提升；降低推理成本的改版常以牺牲分数为代价
- 人类主导设计的系统在同一批游戏上得分更高，说明更好的设计存在，只是模型尚不能靠自己稳定找到
作者认为这揭示了「自主构建 harness」与「可靠自我适应」之间的差距：即使任务表现强，也不保证后续改版能泛化或保留既有能力——而这正是通用智能所需的高效习新技能的关键。
「编程与Agent」频道最新
- SaaStr 创始人：AI Agent 正在取代人类成为软件买家 — morganb · 2026-10-25
- 开发者实测对比：Codex 擅长难题但费心，Claude 更懂意图 — menhguin · 2026-10-25
- 读完 1000+ 篇论文后精选:25 个真正落地的 AI Agent 用例 — MaryamMiradi · 2026-10-25
- AI 旅行规划器改版：代码审查揪出无障碍导航缺陷 — SeanOliver · 2026-10-25
- Anthropic 新指南：砍掉多余 subagent，单 agent 加 skills 常更优 — omarsar0 · 2026-10-25
- 开源 MCP 工具 2 分 51 秒索引 9.6 万文件 Linux 内核树 — Numerous_Beyond_2442 · 2026-10-25