Zoom 发布编码 Agent Harness 设计实证研究
Zoom 团队及合作者在 Hugging Face 发布论文《An Empirical Study of Harness Design for Coding Agents》,对编码 agent 的 harness 设计做了系统性实证拆解。研究动机是现有评测大多把完整 agent 系统作为整体对比,难以区分规划、工具调用、上下文管理等各组件各自的贡献。研究构建模块化轻量 harness:固定执行循环,只变动规划、动作空间/工具接口与上下文管理三个组件,在 176 组匹配的实验设置、四个模型上进行消融,基准为 SWE-Bench Verified 与 Terminal-Bench 2.1。
已确认
- 论文由 Zoom 团队(@ZoomCommunications)在 Hugging Face 发布,@dairai 与 @akhaliq 等做了转述报道。
- 核心结论:上下文管理是对性能影响最大的组件,尤其在较弱模型上最为关键,同时也能省成本。
- 规划组件对强模型而言更多是降低成本的途径,而非提升解题率的关键。
- 实验覆盖 176 组匹配设置,评测对象为四个模型。
为什么重要
- 该研究为 agent harness 的组件选型提供了可分离变量的实证依据,而非整体系统层面的黑盒对比,对构建编码 agent 的工程团队具有直接参考价值:优先投入上下文管理,弱模型场景收益尤为明显。
2026-09-18 ~ 2026-09-19 · 7 条相关
一手来源
- Zoom 实证研究:上下文管理省成本,规划对强模型只是省钱手段 — ZoomCommunications ·
- Zoom 研究:176 组对照实验拆解编码 harness 各组件的真实贡献 — dair_ai ·
- 176 组实验拆解 Coding Agent Harness:上下文管理弱模型时最关键 — _akhaliq ·
- 【源头】Zoom 实证研究:上下文管理省成本,规划对强模型只是省钱手段 — ZoomCommunications · 2026-09-18
- 实证研究拆解编码 Agent Harness 设计:哪些组件真正有效 — SinclairWang1 · 2026-09-18
- 拆解编程 Agent 框架:176 组实验揭示上下文管理才是关键 — _akhaliq · 2026-09-18
- 【源头】176 组实验拆解 Coding Agent Harness:上下文管理弱模型时最关键 — _akhaliq · 2026-09-19
- 新论文实证研究编码 Agent 的 Harness 设计 — _akhaliq · 2026-09-19
- 【源头】Zoom 研究:176 组对照实验拆解编码 harness 各组件的真实贡献 — dair_ai · 2026-09-19
另有 1 条近重复转述:HamedZamani