27280 次 agent 测试:换模型后最佳 harness 也会换
shoumikgoswami · reddit · 2026-11-18
Runta 与 Baseten 用 5 个模型测试了 22 种 coding-agent harness 配置,共 27,280 次试验。核心发现:模型一换,最优 harness 也跟着换——Codex CLI 搭配 GLM-5.3 时单任务通过成本最低($0.803),但搭 Muse 时只排第 12。因此升级模型后应重新测试 harness 组合,而不是沿用旧配置。
稳定性方面差异很大:对 62 个任务反复重采样,Codex CLI + GLM-5.3 在 99.6% 的样本中保持第一,其他四个模型的胜者组合仅能在 25-53% 的样本中守住领先。
作者提醒:这是 Runta(agent 运行时基础设施厂商)自家的 vendor-run 基准,应视为「该自己测一下组合」的理由,而非采购清单。
「编程与Agent」频道最新
- Bug Hunt 实测榜:GPT-6.2 Astra 以 62.7 分登顶,成本仅 Sonnet 的 1/5 — PawelHuryn · 2026-11-18
- 开源 Draftmux:为 Claude Code 加一个 AI 文案打磨编辑器 — rair41 · 2026-11-18
- 开发者吐槽需要一个「决策模型」在 Codex 与 Claude 间路由 MCP 意图 — TheZachMueller · 2026-11-18
- 一名开发者指挥 Hermes agent 团队做出完整僵尸生存游戏,可浏览器试玩 — Teknium · 2026-11-18
- 用 ChatGPT 桌面版接 Codex 修慢电脑,10 条提示词省下 150 美元时薪 IT 费 — anthara_ai · 2026-11-18
- 后台跑 Agent 自动迭代 Triton 内核,作者称性能超越所有开源实现 — qtnx_ · 2026-11-18