176 组对照实验：Agent Harness 设计对成绩影响被系统量化
alex_verem · x · 2026-09-25
UMass Amherst、Zoom、Emory、UNC Charlotte 研究者发布论文《An Empirical Study of Harness Design for Coding Agents》，保持模型不变、只改 harness 层（规划、动作空间、上下文管理），在 SWE-Bench Verified（500 个真实 GitHub 问题）和 Terminal-Bench 2.1（89 个命令行任务）上跑了 176 组匹配设置，覆盖 5 种上下文管理策略、4 种上下文窗口预算。
主要发现：
- 上下文管理：上下文窗口越紧张收益越大，主要作用是防止上下文溢出失败。先规则裁剪、再 LLM 摘要的分级策略效率最高；让被裁剪内容可恢复的机制模型几乎不用，无精度收益。
- 规划：对弱模型是精度脚手架（Nemotron-3 30B 无规划时中位数 5 轮就停，成功率从 25.2% 跌到 13.6%），对强模型则是省成本手段——成本降约 30% 而精度变化不到 2 个点。
- 工具：bash 能力弱的模型受益于预定义工具（Mistral Medium 3.5 无预定义工具时从 68.6% 掉到 45.4%）；而 Nemotron-3 550B 用纯终端反而解出更多任务且成本低 53%。
- 32k 窗口无内存管理时，78.7% 的 GitHub 任务因上下文溢出失败；加裁剪/摘要后同一模型成功率升至 51%–58%。
结论：没有普适最优配置，harness 各组件应按模型、任务和预算选型；benchmark 分数衡量的是「模型+harness」整体，而 harness 能解释其中相当大一部分。
所属事件:176 组对照实验系统量化 Agent Harness 设计影响(2 条相关)→
「编程与Agent」频道最新
- Explosion 发布 Ellf 目录：52 个 NLP 模板与多智能体标注工作流 — _inesmontani · 2026-11-11
- 梗图吐槽:所谓随机 AI Agent 架构就是换了马甲的马尔可夫链 — PrasoonPratham · 2026-11-11
- OpenCode 上线 Gemini 4 Carbon 与 Claude Fable 5.2 — dean_rie · 2026-11-11
- OpenClaw 发布 v2026.11.3 安全补丁，56 个 PR 修复凭证泄露 — dean_rie · 2026-11-11
- Fable 5.2 首日拿下编码 Agent 中 1/4 的 Claude 回复 — dean_rie · 2026-11-11
- QA 工程师想用 MCP Agent 自动验证归因回传，替代每两周半天的人工检查 — Soobhee_Chukwutosin · 2026-11-11