28849 次实测比较 9 款编码 Agent Harness,bash 极简框架登顶
yb2698 · x · 2026-11-06
Joel Niklaus 发布 Harness Leaderboard：耗资 4746 美元推理费用、跑完 28849 次试验，回答「开源模型该配哪个编码 agent harness」。- 对比 9 款 harness,每次比较只换 harness,模型、provider 与 reasoning effort 固定,每个任务跑 3 次- 测试模型为 GLM-5.3-Flash、DeepSeek-V4.1-Flash 和 Flint,基准为 Terminal-Bench 2.1 与 DeepSWE- 三模型平均后，纯 bash 的 mini-swe-agent 以 51.4% 解决率居首，openclaw 仅 27.3%;另有 4 款与 mini-swe-agent 统计学打平- Pi 解决率 49.4%,但每解一题成本 0.29 美元，比 mini-swe-agent 的 0.53 美元便宜约 45%- 最佳 harness 依赖具体模型：GLM-5.3-Flash 首选 mini-swe-agent,DeepSeek 系列首选 Hermes Agent。结论：harness 的选择显著影响开源模型表现，且性价比差异巨大。
「编程与Agent」频道最新
- Cloudflare 提出识别与管理 AI Agent 流量的协作框架 — gaganghotra_ · 2026-11-06
- 互联网正在分裂：屏蔽 Agent 与拥抱 Agent 的两家公司阵营 — brezina · 2026-11-06
- 投资人感叹智能已便宜到不用看用量：从怕断供到 100 美元随便用 — StewartalsopIII · 2026-11-06
- Daiku 给 AI 配一个已登录浏览器:bot 自动值机、追讨逾期发票 — TejasKumar_ · 2026-11-06
- apple-llm 0.3 调用 Mac 自带 TTS/STT，30 分钟旁白 20 秒内渲染完 — light_2earth · 2026-11-06
- 一句话提示词让手机生成 200 粒子物理模拟动画 — tak3sh8 · 2026-11-06