176 组实验拆解 Coding Agent Harness:上下文管理弱模型时最关键
_akhaliq · x · 2026-09-19
新论文《An Empirical Study of Harness Design for Coding Agents》构建了一个模块化编码 harness,固定执行循环,只变动规划、工具接口与上下文管理三个组件,在 176 组实验设置中对四个模型于 SWE-Bench Verified 和 Terminal-Bench 2.1 上评测,拆解各组件贡献。
主要发现:
- 上下文管理在上下文窗口预算紧张时最重要:防止上下文溢出提前终止执行,让 agent 能走到代码修改与验证环节;窗口越大收益递减。
- LLM 摘要前的 staging elision 效率最高:在峰值上下文可控、减少摘要调用的同时保持接近的成功率。
- 规划的作用随模型能力变化:弱模型靠规划维持轨迹存活以尝试修改,提升成功率但增加成本;强模型上规划主要去除冗余的改后验证,降成本而准确率基本不变。
- 预定义工具帮 bash 弱模型,bash-only 接口对 bash 强模型更省成本。
所属事件:Zoom 发布编码 Agent Harness 设计实证研究(7 条相关)→
「编程与Agent」频道最新
- YC 孵化 Orgo：为 AI Agent 提供专属云桌面，已服务超 1000 团队 — Scobleizer · 2026-11-04
- 开发者自述：Vibe Code 出 PMF 产品后，工程化烂摊子靠专业开发救场 — sujingshen · 2026-11-04
- 用一句提示词让 AI 排查跨区流量：迁移服务省掉跨大西洋延迟 — DanielLockyer · 2026-11-04
- 博主自曝：AI agent 只完成了四分之一任务就静默停下 — Promptmethus · 2026-11-04
- ChatGPT Agent 模式自动扫 LinkedIn/Indeed 生成求职投递表 — nikola_mr64990 · 2026-11-04
- 博主用 ChatGPT 自动投 500 份简历，24 小时收到 12 个面试 — nikola_mr64990 · 2026-11-04