FrontierHarness 榜单:Codex 66.7% 居首,外壳成本差 17 倍
chetanp · x · 2026-09-03
Legora 团队推出 FrontierHarness 评测, 对比 12 种 coding agent「外壳」(harness) 在相同任务上的表现, 核心结论是:在垂直 AI 场景, 优秀专用 harness 带来的收益远大于换更贵的模型。
关键数据:
- 质量第一: Codex,66.7% 通过率,每任务 $3.47
- 均衡之选: Pi,60.0% 通过率,每任务仅 $2.43
- 成本最低: Exo Harness,$1.05/任务,53.3% 通过率
- 速度最快: DSH Minimal,中位运行 5m41s,56.7% 通过率
- Claude Code 通过率 63.3% 排第二,但每任务中位成本高达 $18.34,是 Codex 的 5 倍多
- 按成功任务中位成本算, OpenCode 最省 ($0.0615);按缓存命中率, Codex 与 Kimi Code 均达 88%
结论:harness 设计对性能与成本的影响极大, 「外壳」工程是垂直 AI 被低估的杠杆。
所属事件:FrontierHarness 评测：同一模型换外壳成绩差 17 个点(2 条相关)→
「编程与Agent」频道最新
- 「前沿模型 400 美元订阅不可能持久」,团队转向评测开源模型备胎 — ChrisRackauckas · 2026-10-18
- MIT 团队实测:agent 编码用量若按 API 计费每月高达 4 万美元 — ChrisRackauckas · 2026-10-18
- 开源编码工具 OpenCode 遭攻击,1.4% 用户 API 密钥泄露 — astrange · 2026-10-18
- Grok Bot 当员工数周开单干生意，已设 7 个岗位进账 700 美元 — elonmusk · 2026-10-18
- fetch-guard:MCP 抓取服务器主打分层防提示注入 — modelcontextprotocol · 2026-10-18
- miniCloud Omni-Vault:跨会话 agent 记忆库,端侧哈希保隐私 — modelcontextprotocol · 2026-10-18