RL 训练的 Hermes Agent LoRA:SWE-Bench Pro 提升 13.7 分,token 少一半
yb2698 · x · 2026-11-19
作者用强化学习在 Hermes Agent 真实会话中训练了 Qwen3.8-27B 的 LoRA 适配器并放出 GGUF 权重(Apache-2.0)。
- 训练配方:每次 rollout 都是 HF 沙箱里的真实 Hermes Agent 会话,用 TRL 的 AsyncGRPOTrainer + OpenEnv,每一步工具调用都过 safeagents 检查
- 成绩:SWE-bench Pro(hard 51)从 29.4% 提到 43.1%(+13.7 分);Terminal-Bench 2.1 从 44.7% 提到 58.8%(+14.1 分,p=0.029)
- 效率:在两者都能解决的任务上,turn 数不到基座的 40%,生成 token 约减半
- 关闭 thinking:关掉思考后准确率与基座 xhigh 档持平,但每任务少生成 3.5–4.4 倍 token——本地部署下尤其值钱
作者诚实标注了局限:thinking 对比仅在 131k 窗口、单次尝试的设定下成立;GGUF 版未在 llama.cpp 下复测,量化基座会进一步影响结果,且与 Qwen3.8-27B 官方卡上的分数不可直接比较。所有评测轨迹均已公开链接。
所属事件:Nous 发布 Qwen3.8-27B Hermes 适配器,基准大涨更省 token(2 条相关)→
「编程与Agent」频道最新
- Qwen3.8-27B 配 Hermes 适配器:SWE-bench Pro 29%→43%,省 4 倍 token — yb2698 · 2026-11-19
- Every 复盘 Claude Fable 5.2 实战:AI 时代起点的人类思考更值钱 — every · 2026-11-19
- 138 组问题实测:语义缓存余弦阈值不可靠,加廉价模型复核零出错 — Narrow_Side_7778 · 2026-11-19
- 3D 动捕动画想用 ComfyUI 做动作修复,可行吗 — _Tito5_ · 2026-11-19
- 实验室开源 Mycelium:让分析项目知识沉淀进"活数据集",约束 agent 失控行为 — arjunrajlab · 2026-11-19
- harness-hub 开源 RL 训练的 harness 适配器:同一模型为不同 agent 框架单独调优 — yb2698 · 2026-11-19