评测 7 个模型 × 3 套 Coding Harness:原生工具并非总最优,成本差很多
blaizedsouza · x · 2026-09-17
一项针对 Claude Code、Codex 和 Pi 三套 harness 的评测跑了 7 个模型,得出三个反直觉发现:
- Harness 选择对任务成功率影响很小,但对成本影响显著
- 简单 harness 就能打得过复杂方案
- 官方原生 harness 并不总是最好的
这意味着数百万人使用的 coding agent,其 harness 选择的影响其实一直不清楚。LangChain 创始人 Harrison Chase 转发并评论称「模型未必真的受益于原生 harness」——对选型有直接参考价值。
所属事件:7模型×3套编码harness实测:影响成本远大于成功率(7 条相关)→
「编程与Agent」频道最新
- 开发者放话:AI Agent 基础设施需要彻底重构,别套用 Kubernetes — krishnan · 2026-11-12
- 让编码 agent 不产垃圾代码的 7 步法:单月合入 1.1 万 PR、回滚率 0.5% — TheTuringPost · 2026-11-12
- Every agent 新功能:从 Slack 直接创建和编辑 Google 表单 — every · 2026-11-12
- Notion MCP Server 支持 CRUD 全流程,可接入 Cursor 与 Claude — modelcontextprotocol · 2026-11-12
- MuniSpot MCP 连接器覆盖 2 万多个美国市政财务数据 — modelcontextprotocol · 2026-11-12
- AI agent 用得越多,瓶颈越是你自己:人类信息处理仅 10 bits/s — soumitrashukla9 · 2026-11-12