伯克利研究:75%场景下开源Agent框架跑赢Claude Code等官方工具
solyarisoftware · x · 2026-09-22
UC Berkeley 与 Arena 发布「Harness Tax」研究,在 SWE-bench Lite 和 Terminal-Bench 2.0 上测试了 21 组模型×Agent 组合,对比 Claude Code、Codex CLI 与极简开源框架 Pi。
核心发现:
- 前沿模型在大约 75% 的情况下,在最小化的开源框架上表现反而更好;
- 作者称用 Pi 替代官方工具可省约 50% 的 agent API 成本,而 benchmark 成绩几乎不掉;
- 结论挑战了「官方 harness 更优」的直觉:大厂自带框架可能让用户为「Harness Tax」白白买单。
注意:该推文以引述口吻传播,具体模型版本与数据以原论文为准。
所属事件:伯克利 Harness Tax 研究：harness 不改成功率，成本差 5 倍(5 条相关)→
「编程与Agent」频道最新
- dots 更新支持 agent 同时控制 Windows 与 Mac 双机 — dkundel · 2026-11-12
- Granola 推出 Agent Briefs:每晚为 AI agent 打包你的最新上下文 — soleio · 2026-11-12
- 新基准 Continual-ARC:主流 Agent 均无法从经验中学习 — alifcoder · 2026-11-12
- KubeCon 前夕 Azure Day：AKS 单集群 65 节点跑 2.2 万个 Agent — davemccollough · 2026-11-12
- OpenShell 实用技巧:一条命令把沙箱内 Web 应用暴露到浏览器 — gethackteam · 2026-11-12
- 开发者打造「智能操作系统」：模型与智能体直接内建于 Linux 桌面系统 — NerdyRodent · 2026-11-12