编程 Agent Harness 排行榜新增稳定性指标:三次全成功仅三分之一
OfirPress · x · 2026-11-08
Joel Niklaus 的 Harness Leaderboard 新增了「三试全成功率」指标,回应了无人值守场景下「三次中成功一次」与「三次全部成功」是完全不同承诺的质疑。
在三个开源模型上平均:mini-swe-agent 单次成功率 51.4%,三次内至少成功一次 68.6%,但三次全部成功仅 33.0%。五个 harness 的全成功率集中在 32.0%–33.3%,难分高下;openclaw 仅 15.3%。
在最弱模型 Flint 上,NousResearch 的 Hermes Agent 三次内至少成功 28.6%,但全成功率跌至 10.0%,凸显弱模型下稳定性波动更大。
「编程与Agent」频道最新
- GPT-6 Cyber 曝出 Firefox 80+ 高危漏洞,SlopCash 拍卖15分钟售罄 — 0xSammy · 2026-11-08
- 一张图讲清 Agent Harness:框架自管运行时转向平台托管 — adnan_hashmi · 2026-11-08
- ComfyUI 手机遥控方案开源:Tailscale 组网免云免订阅 — al-aSak · 2026-11-08
- AI Engineer Code Summit 公布议程:IBM/Databricks/OpenAI 齐上 agent 工作坊 — TejasKumar_ · 2026-11-08
- Codex 用量暴增?有人发现子代理默认被设为 Astra High — Bino5150 · 2026-11-08
- 给 Claude Code 聊天加动画表情包的 VS Code 小插件 — N9_m · 2026-11-08