UC Berkeley 研究:编码 Agent Harness 对成功率影响甚微,成本却可差 5 倍
trashacct383 · reddit · 2026-10-20
UC Berkeley 的一项研究系统评测了不同 harness(编码 agent 框架)对模型表现的影响，结论颇具颠覆性。
核心发现：
- Harness 几乎不改变成功率，但成本可相差 5 倍：同一模型在不同 harness 下成功率接近，价格却天差地别
- "你的 Claude 模型未必需要 Claude Code"：在 SWE-bench Lite 上 Claude Code 成本约为 Pi 的 2 倍、Codex 的 1.6 倍，只换来约 1% 的成功率优势
- 极简 harness 有竞争力：Pi 只有 4 个工具(read、write、edit、bash)，就在两个基准上都到达 Pareto 前沿
- 成本税从第一次调用就开始：Claude Code 平均初始上下文是 Pi 的 10 倍以上，从第一轮就推高费用
- 模型离开自家 harness 反而更好：12 组对比中有 9 组，第三方 harness 优于厂商自家搭配
- 开源权重模型有竞争力：Kimi K3 与 GPT-5.6 Sol 同处 Pareto 前沿附近
结论：评测必须跨 harness 报告成本/成功率，而非只用默认配置；未来方向应是能随任务自适应调整的 harness。
「编程与Agent」频道最新
- Hamel Husain 实测六款决策模型做 Evals：调阈值比选模型更关键 — Hamel Husain · 2026-10-20
- 微软 10 月 25 日起默认允许用户上传可执行操作的 Copilot 智能体 — luisdans · 2026-10-20
- Voyager发布：像Codex一样的创意工作「开放式驾驶舱」 — ravisparikh · 2026-10-20
- 开发者做 Chrome 插件改造 X 体验，首个功能是更好用的 @ — vista8 · 2026-10-20
- 用户实测 Grok Bot 代订酒店：付款前先请示，还发现重复预订 — XFreeze · 2026-10-20
- 用户怒斥 Codex 会话膨胀吃光额度，转向 Hermes-Agent 自管上下文 — alexcovo_eth · 2026-10-20