7 模型×3 harness 实测:harness 对成功率影响小,对成本影响大
matei_zaharia · x · 2026-09-17
Melissa Pan 团队在 Claude Code、Codex 和 Pi 三套编码 agent harness 上评测了 7 个模型,得出三个反直觉发现:1)harness 的选择对任务成功率影响很小,但会显著影响成本;2)一个简单的 harness 就可以很有竞争力;3)官方原生 harness 并不总是最佳选择。团队指出数百万人已在用编码 agent,但 harness 选择的影响此前一直不明确,详细数据在后续推文线程中展开。
所属事件:7模型×3套编码harness实测:影响成本远大于成功率(7 条相关)→
「编程与Agent」频道最新
- Google 开源内部「大象-金鱼」工作流:规划与审查分离防 AI 敷衍 — gaganghotra_ · 2026-11-02
- InfoQ 发文:Agentic AI 架构中记忆、知识与上下文的系统化方法 — AdiPolak · 2026-11-02
- Harness Pro 用 ESP32-P4 做出 AI 编码 Agent 桌面监控屏 — dee_hw · 2026-11-02
- RL 训练 LFM2.5-24B 适配器:精度持平下工具调用省 20% — yb2698 · 2026-11-02
- Agent 生产环境排障之痛:错误在第5步、根因在第3步 — Ok-Machine7983 · 2026-11-02
- RAGFlow 1.0 预览:从 RAG 引擎转向 agent 原生数据库 — newpeak · 2026-11-02