烧掉4746美元跑28849次试验,发布编码Agent框架排行榜
HankYeomans · x · 2026-11-06
- joelniklaus 发布 Harness Leaderboard:为回答「开源模型该跑在哪个编码 agent 框架里」,作者共跑 28,849 次试验,推理花费 4,746 美元。
- 控制变量对比:每次对比只换 harness,模型、provider 与推理力度固定,每个任务跑 3 次;测试模型为 GLM-5.3-Flash、DeepSeek-V4.1-Flash 和 Flint,基准是 Terminal-Bench 2.1 与 DeepSWE,共对比 9 个编码 agent 框架。
- 初步结论:三个模型平均下来,纯 bash 的 mini-swe-agent(@KLieret)解决 51.4% 任务,openclaw 仅 27.3%;另有 4 个框架与 mini-swe-agent 统计学上打平,其中包括 Pi(@pidot)。pidotdev 转发称「每任务成本」是其团队的关键指标,感谢作者烧卡并公开结论。
所属事件:28849次实测横评9款编码Agent框架(4 条相关)→
「编程与Agent」频道最新
- 李开复推介 Longevity Grok：基于 Grok Bot 的个人长寿研究智能体团队 — kaifulee · 2026-11-06
- OpenCartridge 集成图片转 VRM 与动画,本地跑通游戏资产生成 — bdsqlsz · 2026-11-06
- OpenAI 员工用 Codex 把户型图变成可交互的室内气流模拟器 — OpenAIDevs · 2026-11-06
- vibe42ai 上线 Linux 客户端，用户建议补上安全扫描 — sujingshen · 2026-11-06
- SEO 专家拆解 Amp:28 个 AI 回答零入选,流量仅竞品 1/7 — iannuttall · 2026-11-06
- Qwen3.8-27B 本地跑 agent 编码：过度思考 1.6 万 token 却不调用工具 — previaegg · 2026-11-06