实测发现「harness 税」：Claude Code 成本可达 Pi 两倍而仅多 1.1 分
dbreunig · x · 2026-09-17
melissapan 的实测发现：harness 对成本的影响大于对正确率的影响。在 SWE-bench Lite 上：
- Claude Code：97.8% 成功率，每次 rollout 成本 $1.33
- Pi：96.7% 成功率，每次 rollout 成本仅 $0.67
Claude Code 在前沿模型上成功率最高，但 Pi 和 Codex 在多数测试模型上常以更低成本达到相近成功率。结论：只看成功率选 harness，可能付出高达两倍的隐性「harness 税」。dbreunig 评论称这组数据清晰展示了 harness 的影响力。
所属事件:7 模型实测编码 harness：影响成本大于成功率(3 条相关)→
「编程与Agent」频道最新
- Enactra 发布 BuildingBench：评测编程智能体重建真实建筑 3D 资产 — Lianhuiq · 2026-09-17
- 用户半小时连用 4 次 Codex banked resets 重置 5 小时限额 — flowersslop · 2026-09-17
- Turso 上线误删保护：agent 删库后 5 天内可免费自助恢复 — glcst · 2026-09-17
- 2026 年数据人出圈路径：用 RAG+Agent 搭商业决策机 — mdancho84 · 2026-09-17
- 从找书到笔记:一套完整的严肃阅读工作流,含自研 PDF 转 EPUB Agent Skill — vista8 · 2026-09-17
- 约翰霍普金斯与苹果推出 SelfCompact:让 Agent 自己决定何时压缩上下文 — DeepLearningAI · 2026-09-17