Hermes 适配器实战演示:35 次工具调用解出基础模型搞砸的 SWE-Bench Pro 任务
yb2698 · x · 2026-11-19
NousResearch 发布 Qwen3.8-27B 的 Hermes 适配器后,作者补充一个真实 SWE-Bench Pro(hard 51)任务演示:基础模型在该任务上弄坏测试文件并耗尽 100 步预算失败,而适配器版本仅用 35 次工具调用就修好 bug、验证任务场景并通过。该适配器将 SWE-Bench Pro pass@1 从 29.4% 提到 43.1%(xhigh 思考下 51.0%),Terminal Bench 2.1 从 44.7% 提到 58.8%,且关闭思考时用 3.5–4.4 倍更少 token 即可匹配基础模型 xhigh 思考的表现。
「编程与Agent」频道最新
- Every 复盘 Claude Fable 5.2 实战:AI 时代起点的人类思考更值钱 — every · 2026-11-19
- 138 组问题实测:语义缓存余弦阈值不可靠,加廉价模型复核零出错 — Narrow_Side_7778 · 2026-11-19
- 3D 动捕动画想用 ComfyUI 做动作修复,可行吗 — _Tito5_ · 2026-11-19
- 实验室开源 Mycelium:让分析项目知识沉淀进"活数据集",约束 agent 失控行为 — arjunrajlab · 2026-11-19
- harness-hub 开源 RL 训练的 harness 适配器:同一模型为不同 agent 框架单独调优 — yb2698 · 2026-11-19
- RL 训练的 Hermes Agent LoRA:SWE-Bench Pro 提升 13.7 分,token 少一半 — yb2698 · 2026-11-19