Zoom 实证研究：上下文管理省成本，规划对强模型只是省钱手段
ZoomCommunications · hf · 2026-09-18
Zoom 团队在 Hugging Face 发布编码 agent harness 设计的实证研究，用固定执行循环、只变化三个组件（规划、动作空间、上下文管理）的轻量 harness，在 SWE-Bench Verified 和 Terminal-Bench 2.1 上对 4 个模型跑了 176 组匹配设置（5 种上下文管理策略、4 档上下文窗口预算及消融）。
核心发现：
- 上下文管理在窗口预算越紧时越有价值，收益主要来自防止上下文溢出失败。
- 先做规则式省略（elision）再做 LLM 摘要的策略整体效率最高；把被省略内容做成可恢复机制几乎不被模型使用，且不提升准确率。
- 规划的角色随模型变强而变化：对弱模型是提准确率的脚手架，对强模型只省成本，准确率几乎不变。
- 动作空间：bash 熟练度弱的模型受益于预定义工具；bash 能力强的模型用纯 bash 接口即可高效工作，成本显著更低，尤其在命令行为主的任务上。
- 轨迹分析显示：上下文管理延长轨迹而不改变行为，规划改变轨迹停在哪，动作空间改变写代码的粒度。
结论为面向模型与预算的 harness 设计提供了模块化评估框架。
所属事件:Zoom 发布编码 Agent Harness 设计实证研究(7 条相关)→
「编程与Agent」频道最新
- 开发者打造 MCP 记忆层:每个应用独立可撤销授权 — EntrepreneurOk5764 · 2026-11-04
- 「evals 就是模糊的单元测试」:AI Engineer 大会 eval 演讲获同行推荐 — TejasKumar_ · 2026-11-04
- 让 Claude Code 自己画 CAD:SOMA 下载破千并发布完整教程 — Lazar988 · 2026-11-04
- 文档抽取过了 POC 之后怎么落地？Reddit 求真实生产管线经验 — Mission-Leave-6551 · 2026-11-04
- LLM-as-judge 该怎么报置信度？开发者拒绝 0-100 分的三条理由 — jokiruiz · 2026-11-04
- Claude Code 做 CAD:开源 SOMA 用户破千,9 分钟设计书架出施工图 — Pr8tham · 2026-11-04