28849 次试验、4746 美元算力:9 款编码 Agent 框架横评出炉

bansalg_ · x · 2026-11-06

joelniklaus 发布 Harness Leaderboard,用 28,849 次试验、花费 4,746 美元推理成本,在固定模型/供应商/推理力度、每任务跑 3 次的条件下对比 9 款编码 agent harness 在开源模型上的表现(测试 GLM-5.3-Flash、DeepSeek-V4.1-Flash 和 Flint,跑 Terminal-Bench 2.1 与 DeepSWE)。核心发现:纯 bash 的 mini-swe-agent 平均解题率 51.4%,openclaw 仅 27.3%,另有 4 款与 mini-swe-agent 统计上打平。OfirPress 补充设计逻辑:mini-swe-agent 定位全自主解题,Claude Code/Codex 定位人机协作助手,benchmark 要求全自主,所以 CC/Codex 的很多功能在此场景用不上。