27280 次 agent 测试:换模型后最佳 harness 也会换

shoumikgoswami · reddit · 2026-11-18

Runta 与 Baseten 用 5 个模型测试了 22 种 coding-agent harness 配置,共 27,280 次试验。核心发现:模型一换,最优 harness 也跟着换——Codex CLI 搭配 GLM-5.3 时单任务通过成本最低($0.803),但搭 Muse 时只排第 12。因此升级模型后应重新测试 harness 组合,而不是沿用旧配置。

稳定性方面差异很大:对 62 个任务反复重采样,Codex CLI + GLM-5.3 在 99.6% 的样本中保持第一,其他四个模型的胜者组合仅能在 25-53% 的样本中守住领先。

作者提醒:这是 Runta(agent 运行时基础设施厂商)自家的 vendor-run 基准,应视为「该自己测一下组合」的理由,而非采购清单。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →