谷歌论文:自改进 agent harness 门控式改写省 10 倍 token 且迁移性更强
omarsar0 · x · 2026-11-18
omarsar0 分享了 Google 关于自改进 agent harness(运行时框架)的新论文《Harnesses That Improve Themselves》。
核心实验:保持 Gemini 3.8 Flash 冻结,让优化器在 SWE-bench Lite 上重写 harness,对比三种方式:
- 只改 prompt 规则文件:held-out 准确率从 5.0% 反而降到 2.5%。
- 整体重写 harness:42.5%,但每任务耗 451.6k tokens。
- 门控式逐模块修改:40.0%,每任务仅 46.7k tokens(约省 10 倍)。
门控方案把 harness 拆成 context、control、tools、verification 四个模块,每轮只改一个,并在 token 上限内用 held-out 任务验证通过后才部署。
迁移性:门控 harness 无需重新搜索即可迁移到 Gemini 4 Argon,解决率 37.5%,优于整体重写的 30.0%。
作者提示:held-out 测试集仅 40 个 issue,数字应视为方向性参考。论文还系统列出了 harness 自改写中的失败模式(prompt 膨胀、benchmark 作弊、evaluator 篡改等)及防御措施。
「编程与Agent」频道最新
- 改一行循环提速 2.4 倍:OTel Node.js SDK 热路径优化 — DanielLockyer · 2026-11-18
- Raycast 推出本地 MCP Server:让 Claude、Codex、Cursor 直接操作你的 Mac — dean_rie · 2026-11-18
- 开源语音代理新招:打断时只保留你听到的历史 — andimarafioti · 2026-11-18
- Claude Code 学术研究技能包爆红:GitHub 星标 57.5k — adnan_hashmi · 2026-11-18
- 自建 Agent Harness 实战:银行医院为何弃用现成编码 Agent — TejasKumar_ · 2026-11-18
- 用 MCP 让 Codex/Claude Code 重排项目计划:先规划再改任务的两步法 — sfoooooooooooooooooo · 2026-11-18