同一 10k token 预算:适配器解 51% TB-2.1,基座 xhigh 只解 28%
yb2698 · x · 2026-11-19
这是 Qwen3.8-27B Hermes 适配器作者的补充数据,聚焦 thinking 与 no-thinking 对比:在每任务 10k token 预算内,适配器解出 51% 的 TB-2.1 任务和 39% 的 SWE-Bench Pro,而基座模型开 xhigh 思考只解出 28% 和 0%。在两者都能解决的任务上,中位工具调用次数从 23 降到 7(TB-2.1)、从 63 降到 28(SWE-Bench Pro)。作者还附了一个真实 SWE-Bench Pro 案例演示:基座弄坏测试文件并耗尽 100 步预算,适配器只用 35 次工具调用修复 bug 并通过全部场景。
所属事件:Hermes 适配器实测:同预算解题率远超基座模型(2 条相关)→
「编程与Agent」频道最新
- Qwen3.8-27B 配 Hermes 适配器:SWE-bench Pro 29%→43%,省 4 倍 token — yb2698 · 2026-11-19
- Every 复盘 Claude Fable 5.2 实战:AI 时代起点的人类思考更值钱 — every · 2026-11-19
- 138 组问题实测:语义缓存余弦阈值不可靠,加廉价模型复核零出错 — Narrow_Side_7778 · 2026-11-19
- 3D 动捕动画想用 ComfyUI 做动作修复,可行吗 — _Tito5_ · 2026-11-19
- 实验室开源 Mycelium:让分析项目知识沉淀进"活数据集",约束 agent 失控行为 — arjunrajlab · 2026-11-19
- harness-hub 开源 RL 训练的 harness 适配器:同一模型为不同 agent 框架单独调优 — yb2698 · 2026-11-19