Databricks benchmark 显示，coding agent 成本更受 harness 影响而非 token 价
Substantial-Heat-321 · reddit · 2026-07-26
这条帖子的核心观点是：我们可能在错误的层面衡量 coding agent 的成本。
作者引用 Databricks 在一个多百万行、多语言代码库上的 benchmark 指出，单看 token 价格，并不能预测真实工程任务的成本。在测试里，同一个模型的完成成本会因为 harness 不同而相差 2 倍以上；而某个 harness 每轮送回上下文的内容少了大约 3 倍，却仍然能达到相近质量。
作者认为更有意义的指标应该是：
- 单个已验证任务成本 = 模型 + 工具 + 上下文 + 重试成本，再除以真正通过检查的任务
他进一步解释，harness 会显著影响成本：哪些信息会回流进上下文、失败怎么摘要、何时跑测试、agent 能不能盲目重试、状态能保留多少轮。最后他抛出两个实践问题：团队是否应记录“每个合并 PR 成本”或“每个 green task 成本”？比较 agent 时，是否应该把 harness 固定住，而不是把它当成模型的一部分一起评估？
「编程与Agent」频道最新
- 给 AI 一台无隐私裸机 24/7 放养：比任何 agent 课程学得都多 — EXM7777 · 2026-10-27
- 掌握 Agentic AI 工程必读的 20 篇论文清单，按六大模块整理 — MaryamMiradi · 2026-10-27
- LangChain 旧金山 Meetup：决策模型如何为 Agent 评测降本 — LangChain · 2026-10-27
- 你的 popcount 循环为何被 Clang 换成一条位计数指令 — jimmykoppel · 2026-10-27
- Claude 被喂「物理穿帮」AI 视频：自动算 CFD 修复后重渲染同场景 — OfirPress · 2026-10-27
- 一句话让 Opus 5.5 给房车游戏加上无人机驾驶模式 — ezshine · 2026-10-27