Agent 改进值不值成本？固定 vs 可编辑 harness 对照实验法
krishnan · x · 2026-11-11
作者提出一个可操作的 agent 评测实验：同样的工作流与总预算，对比「固定 harness」与「可编辑 harness」两个版本，冻结后在未见过的隐藏样例上打分，按「每美元被采纳结果数」计账（含改进运行的开销），并重跑旧样例查回归。核心观点：改写 prompt 很便宜，判断改进是否值得保留才是产品本身——如果收益消失，说明循环只是学会了做题。
「编程与Agent」频道最新
- SAG2 免向量库免 GPU 建库快 7000 倍，多跳检索超 HippoRAG 2 — udmrzn · 2026-11-11
- 一句话让 Claude Fable 5.2 大胆重构：告诉它代码库是它的 — brandon_galang · 2026-11-11
- Visa 实测 22 个 AI 模型 15 项购物任务,失败率约 43% — Thick_Mulberry_2235 · 2026-11-11
- Sentry 推出 MCP 与 CLI 统一方案：不是二选一，而是都要 — zeeg · 2026-11-11
- 斯坦福开设 CS329Z 智能体工程课，Diyi Yang 主讲覆盖主动式 Agent — stanfordnlp · 2026-11-11
- 独立开发者自省:共享额度耗尽,整站 AI agent 集体停摆 8 小时 — wolfdogKC · 2026-11-11