「Harness 税」研究:固定任务与模型,不同 harness 成本差异巨大
bendee983 · x · 2026-09-22
一项新研究量化了「Harness Tax」——在任务与模型固定不变时,选择不同 agent harness 带来的成本与效果差异。这对被繁多的「harness × 模型」组合淹没的开发者有直接参考价值。三个关键发现:
- 像 Claude Code 这样功能繁重的 harness,对每任务成本的影响远大于对总体成功率的影响;
- 极简 harness(如 Pi,仅 4 个工具)就能在两个基准上与功能丰富的 Codex、Claode Code 打平;
- 模型在自己厂商自建的 harness 里未必表现最好——12 个用例中有 9 个出现厂商默认 harness 非最优的情况。
结论建议:从精简的 4 工具配置起步,只有当出现失败或确需某功能时才增加重量。作者为撰写 Alpha Signal 深度解析采访了研究合著者 Melissa Pan。
所属事件:伯克利 Harness Tax 研究:harness 不改成功率,成本差 5 倍(5 条相关)→
「编程与Agent」频道最新
- 美联航将禁止个人AI代理代客预订机票 — Polymarket · 2026-11-12
- Agentic Search 图解:4 次搜索的循环成本约为单次搜索的 5 倍 — adnan_hashmi · 2026-11-12
- AWS 自曝:AWS Emulator 每行代码均由自主 AI Agent 编写 — SumitGup · 2026-11-12
- freeCodeCamp 上线 2 小时 Codex 智能体编码免费课 — adnan_hashmi · 2026-11-12
- 被严重低估的资源:跨模型跨厂商的工具调用可靠性实测 — ricklamers · 2026-11-12
- 整理 5.5 万数据点的教训:企业级 Agent 数据准备远比想象更难 — BenBajarin · 2026-11-12