7模型×3套编码harness实测：影响成本远大于成功率
Melissa Pan 团队发布一项评测：将 7 个模型分别放进 Claude Code、Codex 和 Pi 三套编码 agent harness 中运行，考察换壳对性能与成本的影响。核心结论反直觉：harness 的选择对任务成功率影响很小，但对成本影响显著；模型的原生 harness 未必最优，简单 harness 也能有不错表现。该结果经 Matei Zaharia、Hamel Husain 等多位社区人士转发后引发广泛讨论。
已确认
- 评测覆盖 7 个模型 × 3 个 harness（Claude Code、Codex、Pi），核心发现是 harness 选择对成功率影响小、对成本影响大
- dbreunig 转述 melissapan 的实测数据并提出「harness 税」概念：在 SWE-bench Lite 上，Claude Code 成功率 97.8%、每次 rollout 成本 $1.33；Pi 成功率 96.7%，成本约为其一半，成功率仅差 1.1 个百分点
- Hamel Husain 转发的量化分析补充：同样运行 Fable 5，Pi 与 Claude Code 的平均轮次几乎相同（15.4 vs 15.3），但成本差出一倍
为什么重要
- 对团队选型有直接参考价值：不同 harness 的成本差异可达约一倍，而成功率差异仅在 1 个百分点量级
- 提示评测与采购决策中不应默认使用模型厂商的原生 harness，换用更简单的 harness 可显著压缩 agent 运行成本
- DavideCrapis、CShorten30、blaizedsouza、mateizaharia、Hamel Husain 等多位转发者的关注说明该发现引发了社区热议
2026-09-17 ~ 2026-09-17 · 7 条相关
- 第 1 集:7模型×3套编码harness实测：影响成本远大于成功率(2026-09-17,7 条)
- 第 2 集:实测21个模型框架组合：Agent框架影响成本而非成功率(2026-09-19,2 条)
- 第 3 集:伯克利 Harness Tax 研究：harness 不改成功率，成本差 5 倍(2026-09-21,5 条)
一手来源
- 实测发现「harness 税」：Claude Code 成本可达 Pi 两倍而仅多 1.1 分 — dbreunig ·
- 「Harness 税」实锤：同样 15 轮，Claude Code 成本是 Pi 的两倍 — HamelHusain ·
- 7 模型×3 harness 实测：harness 对成功率影响小，对成本影响大 — matei_zaharia ·
- 【源头】7 模型×3 harness 实测：harness 对成功率影响小，对成本影响大 — matei_zaharia · 2026-09-17
- 换壳实测：7个模型跑Claude Code、Codex与Pi，原生harness未必最优 — CShorten30 · 2026-09-17
- 【源头】实测发现「harness 税」：Claude Code 成本可达 Pi 两倍而仅多 1.1 分 — dbreunig · 2026-09-17
- 7 个模型实测：编码 agent 的 harness 不影响成功率却显著影响成本 — DavideCrapis · 2026-09-17
- 【源头】「Harness 税」实锤：同样 15 轮，Claude Code 成本是 Pi 的两倍 — HamelHusain · 2026-09-17
另有 2 条近重复转述:CShorten30 · blaizedsouza