研究称编码智能体 harness 不改成功率却致成本差五倍
UC Berkeley 团队发布的 HarnessTax 研究量化了编码智能体所用 harness(智能体框架)对性能与成本的影响。实验覆盖 21 组模型×harness 组合,在 60 个任务上测试发现:不同 harness 下成功率十分接近,但同一模型的账单成本最多可相差 5 倍。这表明选择合适的 harness 是降低智能体使用成本的重要手段。
2026-09-21 ~ 2026-09-22 · 3 条相关
- 第 1 集:7模型×3套编码harness实测:影响成本远大于成功率(2026-09-17,7 条)
- 第 2 集:实测21个模型框架组合:Agent框架影响成本而非成功率(2026-09-19,2 条)
- 第 3 集:研究称编码智能体 harness 不改成功率却致成本差五倍(2026-09-21,3 条)
- Arena 实测:21 组模型-框架组合,成功率相近成本差 5 倍 — thione · 2026-09-21
- 同一模型换 harness 账单差 5 倍,HarnessTax 实测 21 种组合 — CShorten30 · 2026-09-22
- UC Berkeley 研究:harness 几乎不影响成功率,成本却可差 5 倍 — solyarisoftware · 2026-09-22