编程 Agent Harness 排行榜新增稳定性指标:三次全成功仅三分之一

OfirPress · x · 2026-11-08

Joel Niklaus 的 Harness Leaderboard 新增了「三试全成功率」指标,回应了无人值守场景下「三次中成功一次」与「三次全部成功」是完全不同承诺的质疑。

在三个开源模型上平均:mini-swe-agent 单次成功率 51.4%,三次内至少成功一次 68.6%,但三次全部成功仅 33.0%。五个 harness 的全成功率集中在 32.0%–33.3%,难分高下;openclaw 仅 15.3%。

在最弱模型 Flint 上,NousResearch 的 Hermes Agent 三次内至少成功 28.6%,但全成功率跌至 10.0%,凸显弱模型下稳定性波动更大。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →