7 模型×3 Agent 框架实测:harness 影响成本远大于成功率
CShorten30 · x · 2026-09-17
Matei Zaharia 转发 Melissa Pan 的研究项目:在 Claude Code、Codex 和 Pi 三个 harness 上评测 7 个模型，得出三个反直觉发现：
- harness 选择对任务成功率影响很小，但对成本影响显著——同一模型换个框架，花费可能差很多
- 简单的 harness 也能很有竞争力
- 模型自带的官方 harness 不一定是最优选择
研究指出，数百万人正在使用编码 agent，但 harness 选择的影响此前并不清楚。
所属事件:7模型×3套编码harness实测：影响成本远大于成功率(7 条相关)→
「编程与Agent」频道最新
- General Reasoning 首发博客:详解如何用强化学习训练 Agent 集群协作 — rosstaylor90 · 2026-11-02
- 开发者指出:编码不再是瓶颈,使用量窗口才是 — kylegawley · 2026-11-02
- demo 通过≠可上线:让 Agent 接管业务前必答的五个问题 — _kellhus · 2026-11-02
- AI agent 通过 100 次测试，为何仍不能接管业务 — djgoel123 · 2026-11-02
- 让 Agent 全权创作:纯代码产出 1 分 44 秒动画短片《最后的园丁》 — ivegotnoidea1 · 2026-11-02
- 起床、用 Claude Code、睡觉：梗图调侃一天全靠它 — tekbog · 2026-11-02