同一模型换 harness,token 消耗差 9.2 倍,实测揭示 harness 影响
zainhas · x · 2026-09-08
博主用同一个 Three.js 单页生成 prompt，横评了不同模型+harness 组合，发现 harness 对 token 用量和端到端耗时的影响远大于模型本身。
关键数据：
- GLM 5.3 Flash Max 在三个 harness 下表现悬殊：Codex 用 47.5 万 tokens/9 分钟；OMP 用 174 万/30 分钟；Opencode 用 436 万/20 分钟——同一模型 token 用量相差 9.2 倍。
- Qwen 3.8 27B x-high 在 Opencode 下反而最快（8m48s、70.7 万 tokens），在 OMP 下最慢（41 分钟、340 万 tokens）。
- 实测还记录了 TTFT、缓存命中率、工具调用与错误、是否真正打开浏览器截图验证等维度。
结论：选对 harness 比选模型更能决定编码 agent 的成本和速度，做 agent 评测必须把 harness 纳入变量。
所属事件:实测显示编程框架比模型更影响 token 消耗与耗时(2 条相关)→
「编程与Agent」频道最新
- Chrome 团队详解 WebMCP：不是取代 MCP，而是让网站直接向 agent 提供工具 — rseroter · 2026-10-27
- Agent 绕过 UI 就能改已审批报销单?Agent-Native 框架要堵这个洞 — rseroter · 2026-10-27
- 开发者晒 AI 编码智能栈：人定方向 Opus 写码 Astra 审查，人类只做审阅 — sh_reya · 2026-10-27
- Baseten 网络课：用自有合并 PR 建 benchmark,按每成功任务成本评估开源模型 — baseten · 2026-10-27
- Thorsten Ball 谈 Agent 工作法：多用评测、多上自动化、放手让 Agent 干 — omarsar0 · 2026-10-27
- 定时运行的 Agent 任务，哪些可以免审批？Reddit 热议信任边界 — MemStrata · 2026-10-27