实测发现「harness 税」：Claude Code 成本可达 Pi 两倍而仅多 1.1 分
dbreunig · x · 2026-09-17
melissapan 的实测发现：harness 对成本的影响大于对正确率的影响。在 SWE-bench Lite 上：
- Claude Code：97.8% 成功率，每次 rollout 成本 $1.33
- Pi：96.7% 成功率，每次 rollout 成本仅 $0.67
Claude Code 在前沿模型上成功率最高，但 Pi 和 Codex 在多数测试模型上常以更低成本达到相近成功率。结论：只看成功率选 harness，可能付出高达两倍的隐性「harness 税」。dbreunig 评论称这组数据清晰展示了 harness 的影响力。
所属事件:7模型×3套编码harness实测：影响成本远大于成功率(7 条相关)→
「编程与Agent」频道最新
- Google 开源内部「大象-金鱼」工作流:规划与审查分离防 AI 敷衍 — gaganghotra_ · 2026-11-02
- InfoQ 发文：Agentic AI 架构中记忆、知识与上下文的系统化方法 — AdiPolak · 2026-11-02
- Harness Pro 用 ESP32-P4 做出 AI 编码 Agent 桌面监控屏 — dee_hw · 2026-11-02
- RL 训练 LFM2.5-24B 适配器：精度持平下工具调用省 20% — yb2698 · 2026-11-02
- Agent 生产环境排障之痛：错误在第5步、根因在第3步 — Ok-Machine7983 · 2026-11-02
- RAGFlow 1.0 预览：从 RAG 引擎转向 agent 原生数据库 — newpeak · 2026-11-02