21个模型-框架组合实测:换Agent框架几乎不影响成功率,却能大幅改变成本
iScienceLuvr · x · 2026-09-19
一篇新文章对 7 个模型 × 3 个 harness 共 21 个「模型–框架」组合做了对比分析,得出三个发现:
- harness 的选择对任务成功率影响很小,但对成本影响显著——不同 harness 跑同一个模型,花费可能差很多;
- 简单的 harness 也能打得过复杂框架,并非越复杂越强;
- 模型在别家的 harness 上有时比自己官方的还表现更好。
作者的结论是:像 Pi 这类简单 harness 可能反而是更优选择。对选型 AI 编码/agent 框架的人来说,这意味着与其堆功能,不如关注成本与简单性。
所属事件:实测21个模型框架组合：Agent框架影响成本而非成功率(2 条相关)→
「编程与Agent」频道最新
- 新基准 Continual-ARC：主流 Agent 都学不会经验，9B 模型微调反而可以 — alifcoder · 2026-11-12
- 开发者放话：AI Agent 基础设施需要彻底重构，别套用 Kubernetes — krishnan · 2026-11-12
- SpaceX 工程师 Lauren Tan 七步法：月发 11000 个 PR、回滚率仅 0.5% — TheTuringPost · 2026-11-12
- 让编码 agent 不产垃圾代码的 7 步法：单月合入 1.1 万 PR、回滚率 0.5% — TheTuringPost · 2026-11-12
- Every agent 新功能：从 Slack 直接创建和编辑 Google 表单 — every · 2026-11-12
- 复盘百个付费 AI 客户项目:5千到1.8万美元的生意怎么做 — aryanXmahajan · 2026-11-12