专题 · FULL STORY

「Harness税」：编码框架让同一模型账单差5倍

9月17日起,一项将7个模型置于Claude Code、Codex、Pi三套编码agent框架中的评测研究陆续发布,发现harness对成本影响远大于成功率。研究随后在X与Hacker News引发热议,伯克利团队与Arena进一步量化显示同一模型在不同框架下账单可相差5倍。

2026-09-17 ~ 2026-09-22 · 3 集 · 14 条

第 1 集 · 7模型×3套编码harness实测：影响成本远大于成功率(2026-09-17,7 条)

Melissa Pan 团队发布一项评测：将 7 个模型分别放进 Claude Code、Codex 和 Pi 三套编码 agent harness 中运行，考察换壳对性能与成本的影响。核心结论反直觉：harness 的选择对任务成功率影响很小，但对成本影响显著；模型的原生 harness 未必最优，简单 harness 也能有不错表现。该结果经 Matei Zaharia、Hamel Husain 等多位社区人士转发后引发广泛讨论。

已确认

  • 评测覆盖 7 个模型 × 3 个 harness（Claude Code、Codex、Pi），核心发现是 harness 选择对成功率影响小、对成本影响大
  • dbreunig 转述 melissapan 的实测数据并提出「harness 税」概念：在 SWE-bench Lite 上，Claude Code 成功率 97.8%、每次 rollout 成本 $1.33；Pi 成功率 96.7%，成本约为其一半，成功率仅差 1.1 个百分点
  • Hamel Husain 转发的量化分析补充：同样运行 Fable 5，Pi 与 Claude Code 的平均轮次几乎相同（15.4 vs 15.3），但成本差出一倍

为什么重要

  • 对团队选型有直接参考价值：不同 harness 的成本差异可达约一倍，而成功率差异仅在 1 个百分点量级
  • 提示评测与采购决策中不应默认使用模型厂商的原生 harness，换用更简单的 harness 可显著压缩 agent 运行成本
  • DavideCrapis、CShorten30、blaizedsouza、mateizaharia、Hamel Husain 等多位转发者的关注说明该发现引发了社区热议

第 2 集 · 实测21个模型框架组合：Agent框架影响成本而非成功率(2026-09-19,2 条)

一项名为 HarnessTax 的编码 Agent 评测研究在 X 和 Hacker News 热榜上引发关注。作者对 7 个模型与 3 种 harness（含 Claude Code、Codex 等）共 21 个「模型–框架」组合进行实测，得出关键发现：更换 Agent 框架对任务成功率几乎没有影响，却会大幅改变运行成本，即 harness 的选择主要影响成本而非效果。

第 3 集 · 伯克利 Harness Tax 研究：harness 不改成功率，成本差 5 倍(2026-09-21,5 条)

UC Berkeley 团队与 Arena 联合发布「Harness Tax」（HarnessTax）研究，量化 coding agent 的工程化框架（harness）对性能与成本的真实影响。实验在 SWE-bench Lite 和 Terminal-Bench 2.0 两个基准上测试了 21 组「模型×harness」组合，覆盖约 7 个模型、60 个任务，并与 Claude Code、Codex CLI 等官方工具对比。结论是 harness 选择对成功率影响很小，但成本差异显著，开发者应把 harness 视为成本变量而非性能变量。

已确认

  • 核心结论：harness 选择对成功率影响很小，不同组合成功率相近，但成本差异最高可达 5 倍，即「同一模型换 harness，账单差 5 倍」。
  • 同一模型在不同 harness 下，单次尝试成本区间为 $0.67 到 $1.33。
  • 转发帖提到研究称约 75% 场景下开源 Agent 框架可跑赢 Claude Code 等官方工具。

为什么重要

  • @thione 与 @bendee983 均指出，该研究说明 harness 本身的选择是成本效率的关键变量，而非性能变量。
  • @bendee983 认为，对被繁多「harness × 模型」组合淹没的开发者，这项研究有直接参考价值：固定任务与模型后，可依据成本数据做出更理性的框架选型，避免为相近的成功率支付数倍溢价。