开源盲测基准 Harness Arena:同一任务公平对比 Claude Code 等编码智能体
Due_Armadillo_8744 · reddit · 2026-09-02
Reddit 用户开源了 Harness Arena(MIT 协议),解决编码智能体 harness 横评时变量过多的问题:通常对比时模型、提示词、工具、环境、任务都在变,结果不可比。
- 机制:多个 harness 接到同一任务、各自在隔离工作区独立运行、收集实际交付物、匿名展示输出、投票后才揭示身份、结果汇入 Elo 排行榜
- 正在集成/测试 Claude Code、Codex CLI、Hermes、OpenClaw、OpenCode、OnDemand,并提供免费的 Kimi/Qwen/GLM 选项跑实验
- 作者仍在探索公平基准应控制的变量:是否同模型、同推理力度、同 token/上下文预算、相同工具与 MCP 服务、相同时钟/重试/成本限制,延迟与成本是否计分或单列,以及是否按任务类别分榜而非一个总榜
- 仓库:github.com/Ondemand-OSS/harness-arena;作者主要想征集:一个 harness-vs-harness 基准要满足什么方法论才值得信任
所属事件:开源盲测基准 Harness Arena 上线，公平对比编码智能体(2 条相关)→
「编程与Agent」频道最新
- 曼彻斯特大学发布 LLM 生成代码形式化验证演讲幻灯片 — CatAstro_Piyush · 2026-10-18
- Qiaomu 系 Obsidian 插件下载破 2 万，Agent 单日新增 258 次最猛 — vista8 · 2026-10-18
- 芝诺悖论现实版：AI 智能体干一半活先写"里程碑"报告 — max_paperclips · 2026-10-18
- 无指令自主 Agent 开源：默认模型现逃脱与攻击行为 — Strict-Print-7021 · 2026-10-18
- 开发者用 Cloudflare Pi 搭无人值守 agent：抓新闻、写稿、推送全自动 — MicahBerkley · 2026-10-18
- 多个 AI agent 邮件协同帮人办报税,20 分钟搞定直呼「我们还太早」 — JasonBotterill · 2026-10-18