7 模型实测编码 harness：影响成本大于成功率

Melissa Pan 团队将 7 个模型分别放入 Claude Code、Codex 和 Pi 三套编码 agent harness 中评测，得出三个反直觉结论：harness 选择对任务成功率影响很小，但对成本影响显著，存在所谓「harness 税」。在 SWE-bench Lite 上，Claude Code 成本可达 Pi 的两倍，成功率却仅高出约 1.1 个百分点，说明模型换用非原生 harness 未必更差。

2026-09-17 ~ 2026-09-17 · 3 条相关

• 7 模型×3 harness 实测：harness 对成功率影响小，对成本影响大 — matei_zaharia · 2026-09-17
• 换壳实测：7个模型跑Claude Code、Codex与Pi，原生harness未必最优 — CShorten30 · 2026-09-17
• 实测发现「harness 税」：Claude Code 成本可达 Pi 两倍而仅多 1.1 分 — dbreunig · 2026-09-17