UC Berkeley 研究:harness 几乎不影响成功率,成本却可差 5 倍
solyarisoftware · x · 2026-09-22
UC Berkeley 团队发布 HarnessTax 研究，量化 coding agent 的 harness 对性能与成本的真实影响。实验覆盖 21 组模型-harness 组合、7 个模型、SWE-bench Lite 与 Terminal-Bench 2.0 两个基准，每组 30 任务、3 次重复，并用 bootstrap 估计 95% 置信区间。
核心发现：
- 成功率几乎不变：同一模型换 harness，SWE-bench Lite 上成功率平均变化在 ±2% 内，Terminal-Bench 约 ±5%。
- 成本差距巨大：Claude Code 在 SWE-bench Lite 上平均比 Pi 贵 2.0 倍、比 Codex CLI 贵 1.6 倍。最明显的例子是 Claude Fable 5：在 Claude Code 与 Pi 上成功率分别为 97.8% 和 96.7%，但单次尝试成本 $1.33 vs $0.67，翻了一倍（平均轮次几乎相同）。
- 原因在初始上下文：Claude Code 的首调上下文是 Pi 的 10 倍以上；Pi 只提供 read、write、edit、bash 四个工具，指令与 schema 更紧凑。
- 结论：极简开源 harness Pi 在两个基准上都达到成本-效果 Pareto 前沿。选 coding agent 实际上是在同时选模型和 harness。
所属事件:伯克利 Harness Tax 研究：harness 不改成功率，成本差 5 倍(5 条相关)→
「编程与Agent」频道最新
- 美联航将禁止个人AI代理代客预订机票 — Polymarket · 2026-11-12
- Agentic Search 图解：4 次搜索的循环成本约为单次搜索的 5 倍 — adnan_hashmi · 2026-11-12
- AWS 自曝：AWS Emulator 每行代码均由自主 AI Agent 编写 — SumitGup · 2026-11-12
- freeCodeCamp 上线 2 小时 Codex 智能体编码免费课 — adnan_hashmi · 2026-11-12
- 被严重低估的资源：跨模型跨厂商的工具调用可靠性实测 — ricklamers · 2026-11-12
- 整理 5.5 万数据点的教训:企业级 Agent 数据准备远比想象更难 — BenBajarin · 2026-11-12