89 次实测 9 种 agent harness:PiT 与 Grok Build CLI 领跑 DeepSeek V4.1
PawelHuryn · x · 2026-10-20
Pawel Huryn 将 DeepSeek V4.1 Flash 1017 的 Bug Hunt 基准重复跑了 89 次、横跨 9 种 harness,每组 5 次高强度尝试(每仓库限时 3 小时)。
- 高强度档平均分:Pi 40.4、Grok Build CLI 40.4、DeepSeek 官方 39.2、OpenCode 2.0 38.6、OpenCode 36.6、Claude Code 36.4、Codex 33.2、Hermes Agent 32.0、Kilo Code 31.8
- Codex 多次超时,按完成部分计分
- OpenCode 是四款主要 harness 中在该模型上最弱的;Pi 性价比最佳
- 作者结论:Pi、Grok Build CLI 与 OpenCode 2.0 是目前最强的通用 harness,但强调结论不一定泛化到其他模型
所属事件:Bug Hunt Bench 实测：换 harness 拉开数分差距(10 条相关)→
「编程与Agent」频道最新
- Hugging Face 发布 Agent Manager：编排数十个跨框架协作 Agent — lvwerra · 2026-10-21
- 端到端 AI 换脸视频工作流全解：从素材检查到帧对齐装配 — Few-Profession421 · 2026-10-21
- 观点：聊天界面是与 agent 协作的最缺乏想象力方式 — braelyn_ai · 2026-10-21
- Shopify 公开持续学习闭环：小模型加 judge-critic 打败前沿模型 — PyTorch · 2026-10-21
- Linear 创始人：Agent 时代产品为何变成没人选的功能堆 — wateriscoding · 2026-10-21
- AWS Agent Registry：让 agent 运行时语义发现 MCP 工具与 A2A agent — AWS ML Blog · 2026-10-21