Zoom 研究:176 组对照实验拆解编码 harness 各组件的真实贡献
dair_ai · x · 2026-09-19
Zoom 团队与合作者发布了一项系统性的编码 harness 消融研究:固定执行循环,逐一改变规划、动作空间与上下文管理,在 176 组匹配设置、四个模型、SWE-Bench Verified 与 Terminal-Bench 2.1 上测试。
关键发现:
- 上下文管理在上下文窗口越紧张时收益越大;其收益主要来自防止溢出失败,而非提升推理质量
- 五种策略中,先做规则式删减(elision)再做 LLM 摘要,性价比最高
- 让被删减内容可恢复会增加机制复杂度,但模型很少使用,准确率无提升
- 规划的作用随模型强弱而变:对最弱模型能提升成功率,对更强模型准确率几乎不动
对自建 coding harness 的维护者有直接参考价值。
所属事件:Zoom 发布编码 Agent Harness 设计实证研究(7 条相关)→
「编程与Agent」频道最新
- 「evals 就是模糊的单元测试」:AI Engineer 大会 eval 演讲获同行推荐 — TejasKumar_ · 2026-11-04
- 文档抽取过了 POC 之后怎么落地？Reddit 求真实生产管线经验 — Mission-Leave-6551 · 2026-11-04
- LLM-as-judge 该怎么报置信度？开发者拒绝 0-100 分的三条理由 — jokiruiz · 2026-11-04
- Claude Code 做 CAD:开源 SOMA 用户破千,9 分钟设计书架出施工图 — Pr8tham · 2026-11-04
- 周处理百万条消息,AI agent 生产环境降本 37% 的 13 条实操 — AccBalanced · 2026-11-04
- 编码工具 rex 每两小时弹一次更新，作者感叹像 Cursor 早期节奏 — sumitdotml · 2026-11-04