Hermes 适配器实战演示:35 次工具调用解出基础模型搞砸的 SWE-Bench Pro 任务

yb2698 · x · 2026-11-19

NousResearch 发布 Qwen3.8-27B 的 Hermes 适配器后,作者补充一个真实 SWE-Bench Pro(hard 51)任务演示:基础模型在该任务上弄坏测试文件并耗尽 100 步预算失败,而适配器版本仅用 35 次工具调用就修好 bug、验证任务场景并通过。该适配器将 SWE-Bench Pro pass@1 从 29.4% 提到 43.1%(xhigh 思考下 51.0%),Terminal Bench 2.1 从 44.7% 提到 58.8%,且关闭思考时用 3.5–4.4 倍更少 token 即可匹配基础模型 xhigh 思考的表现。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →