同模型不同 Harness 成本差 17 倍：9 款 Agent 框架 360 次实测
Double-Entertainer62 · reddit · 2026-09-10
FrontierHarness 用同一模型、同一任务、同一运行时对 Pi、Exo、Claude Code、Codex、DeepSeek Harness 等 9 个 agent harness 做了 360 次运行、20 亿 token 的测试。
- 通过率：50% 到 67%，Claude Code 与 DSH Creator 均通过 19/30 任务并列第一
- 单次通过成本中位数：$18.34 vs $3.28，相差 17 倍
- 关键洞察：单次成功运行成本低不代表整体便宜，失败的尝试、重试和人工清理都计入总成本；应按「总花费 ÷ 实际被接受任务数」核算，并同时追踪耗时和人工干预
选型建议：不想操心选 Codex（最高通过率、中等成本）；同一任务跑上千次选 Pi；重试便宜、宁早放弃选 Exo；在意墙钟时间且爱调参选 DSH。
「编程与Agent」频道最新
- Agent 成功完成任务的背后:验证器只查了「有没有点击」导致重复投票 — TejasKumar_ · 2026-10-26
- diginomica 周报:agentic 自动化被高估,agent 攻防「The Hackening」已开始 — jonerp · 2026-10-26
- 「氛围验证」研究：近 60% 的形式化证明证明的不是作者本意 — basedjensen · 2026-10-26
- Devin 推出安全工具线，由 Claude Mythos 驱动并送数亿美元额度 — DevinAI · 2026-10-26
- HackBench 发布：向 Agent 轨迹注入作弊，压力测试监控器 — DanielKhashabi · 2026-10-26
- HF Hub CLI 大更新:缓存去重省 19GB,GPU 任务可重试重跑 — yb2698 · 2026-10-26