28849 次测试横评 9 款编码 Agent 框架，最大差距 24 分
victor_explore · x · 2026-11-06
Joel Niklaus 跑了 28,849 次试验，在相同模型、同一 provider、相同推理 effort 下横评 9 个编码 agent harness，发现最大差距达 24 个百分点：mini-swe-agent 以 51.4% macro 准确率居首（成本 $0.17/次），OpenClaw 仅 27.3% 垫底。
关键发现（来自 Harness Leaderboard 图表）：
- 模型相同、框架决定成败：同一开源模型在不同 harness 下表现差异巨大，harness 选择与选模型同样重要
- Pareto 前沿：mini-swe-agent（最准）与 Pi（$0.094/次最便宜、$0.29/solve）分别在准确率和成本上占优；Kimi Code 50.5%、Hermes Agent 50.3%、Claude Code 49.2% 紧随其后
- 费用与时间：总计花费 $4746，单次成本从 Pi 的 $0.094 到 OpenCode 的 $0.36 不等，Qwen Code 最快（23.7 分钟/次）
- 所有轨迹公开，可复现，含置信区间
所属事件:开发者 28849 次实测横评 9 款编码 Agent 框架(3 条相关)→
「编程与Agent」频道最新
- MCP vs API vs CLI：一文讲清 AI Agent 接入应用的最佳姿势 — hottown · 2026-11-06
- 基于 Google Custom Search API 的 Web Search MCP Server 开源 — modelcontextprotocol · 2026-11-06
- 本地脚本能跑≠GPU Job：容器化上 serverless GPU 的四道坎 — Al_Grigor · 2026-11-06
- noracu 0.2.0:按元素索引操控 Mac 的本地 MCP server — feng_sg · 2026-11-06
- 如何从 PR 评论识别「从没读过自己 AI 代码」的人 — Fickle_Excitement729 · 2026-11-06
- 用 4 个 AI Agent 搭建代理报告团队，管理 5.6 万美元广告投放 — JaynitMakwana · 2026-11-06