开源 harness 评测：Hermes 跑 Opus 5.5 通过率 78.8% 居首
NousResearch · x · 2026-11-09
NousResearch 回应 garrytan 的开源 harness 评测：在模拟公司 Slack 环境的 20 个办公任务、每个 harness 跑 4 次（共 560 次）的测试中，Hermes 搭配 Opus 5.5 以 78.8% 通过率排第一，略高于 Claude Code（76.3%）和 OpenClaw（76.3%）；GPT-6.1 Sol 侧 Hermes 也达 75.0%，优于 OpenClaw（73.7%）和 Codex（71.3%）。
单任务成本方面 Codex 最低（$0.17），OpenClaw+Opus 5.5 最贵（$0.44），Hermes 两个模型组合均在 $0.19-0.24 区间，即顶级通过率未必最贵。NousResearch 顺带调侃「Hermes 似乎更聪明」。
所属事件:Garry Tan开源编码Agent评测：能力打平，成本差一倍(3 条相关)→
「编程与Agent」频道最新
- 开源 video-to-game:31 个游戏全由 Agent 从视频重建,单个约 6 美元 — songguoxiansen · 2026-11-09
- 「Agent Swarms」这名字被吐槽：你会把同事叫虫群吗 — round · 2026-11-09
- 179 次拦截多为误报：开源 agent RL 的 reward hacking 防线复盘 — yb2698 · 2026-11-09
- LFM3 等模型新增 harness 适配器，用 RL 专训 agent 开发效率 — yb2698 · 2026-11-09
- Agent 训练中拦截 179 次 reward hacking,占比仅 0.04% — yb2698 · 2026-11-09
- 三模型 agent 训练总花费 1177 美元,LFM3 工具效率提升 43% — yb2698 · 2026-11-09