同一模型换 harness 账单差 5 倍,HarnessTax 实测 21 种组合
CShorten30 · x · 2026-09-22
HarnessTax 团队对 21 种模型-harness 组合在 60 个任务上做了成本与成功率测试,发现成本波动远大于成功率波动:
- 同一模型在不同 harness 下,单次尝试成本从 $0.67 到 $1.33(5 倍差距)
- 成功率差距却很小:97.8% vs 96.7%
- 12 个轻量配置中有 9 个跑赢厂商默认配置
- Claude Code 和 Pi 平均每次任务 15 轮交互,但重型配置携带的初始上下文是轻量的 10 倍以上——更长的指令和更大的工具定义随每次调用反复传输
研究合著者 melissapan 指出,harness 选择目前多靠「部落知识」和口口相传,很难判断哪个配置在自己的工作负载上性价比最优。作者将其定位为一次「采购测试」,轻量配置仍占据成本-成功率前沿。
所属事件:伯克利 Harness Tax 研究：harness 不改成功率，成本差 5 倍(5 条相关)→
「编程与Agent」频道最新
- 美联航将禁止个人AI代理代客预订机票 — Polymarket · 2026-11-12
- Agentic Search 图解：4 次搜索的循环成本约为单次搜索的 5 倍 — adnan_hashmi · 2026-11-12
- AWS 自曝：AWS Emulator 每行代码均由自主 AI Agent 编写 — SumitGup · 2026-11-12
- freeCodeCamp 上线 2 小时 Codex 智能体编码免费课 — adnan_hashmi · 2026-11-12
- 被严重低估的资源：跨模型跨厂商的工具调用可靠性实测 — ricklamers · 2026-11-12
- 整理 5.5 万数据点的教训:企业级 Agent 数据准备远比想象更难 — BenBajarin · 2026-11-12