伯克利 Harness Tax 研究：harness 不改成功率，成本差 5 倍
UC Berkeley 团队与 Arena 联合发布「Harness Tax」（HarnessTax）研究，量化 coding agent 的工程化框架（harness）对性能与成本的真实影响。实验在 SWE-bench Lite 和 Terminal-Bench 2.0 两个基准上测试了 21 组「模型×harness」组合，覆盖约 7 个模型、60 个任务，并与 Claude Code、Codex CLI 等官方工具对比。结论是 harness 选择对成功率影响很小，但成本差异显著，开发者应把 harness 视为成本变量而非性能变量。
已确认
- 核心结论：harness 选择对成功率影响很小，不同组合成功率相近，但成本差异最高可达 5 倍，即「同一模型换 harness，账单差 5 倍」。
- 同一模型在不同 harness 下，单次尝试成本区间为 $0.67 到 $1.33。
- 转发帖提到研究称约 75% 场景下开源 Agent 框架可跑赢 Claude Code 等官方工具。
为什么重要
- @thione 与 @bendee983 均指出，该研究说明 harness 本身的选择是成本效率的关键变量，而非性能变量。
- @bendee983 认为，对被繁多「harness × 模型」组合淹没的开发者，这项研究有直接参考价值：固定任务与模型后，可依据成本数据做出更理性的框架选型，避免为相近的成功率支付数倍溢价。
2026-09-21 ~ 2026-09-22 · 5 条相关
- 第 1 集:7模型×3套编码harness实测：影响成本远大于成功率(2026-09-17,7 条)
- 第 2 集:实测21个模型框架组合：Agent框架影响成本而非成功率(2026-09-19,2 条)
- 第 3 集:伯克利 Harness Tax 研究：harness 不改成功率，成本差 5 倍(2026-09-21,5 条)
一手来源
- Arena 实测：21 组模型-框架组合，成功率相近成本差 5 倍 — thione ·
- 「Harness 税」研究：固定任务与模型，不同 harness 成本差异巨大 — bendee983 ·
- 【源头】Arena 实测：21 组模型-框架组合，成功率相近成本差 5 倍 — thione · 2026-09-21
- 同一模型换 harness 账单差 5 倍,HarnessTax 实测 21 种组合 — CShorten30 · 2026-09-22
- UC Berkeley 研究:harness 几乎不影响成功率,成本却可差 5 倍 — solyarisoftware · 2026-09-22
- 伯克利研究:75%场景下开源Agent框架跑赢Claude Code等官方工具 — solyarisoftware · 2026-09-22
另有 1 条近重复转述:bendee983