O'Reilly 长文:agent harness 不会死,但要在新模型发布时定期重跑 evals
bibryam · x · 2026-11-05
O'Reilly 刊载 Laurie Voss 的文章,回应「agent harness 是否正在消亡」——答案是不会,但角色正在改变。
触发事件:北大 Haoran Ye 团队的 Harness-Zero 论文演示了 harness 蒸馏(harness distillation):先为小模型构建专用 harness,再把 harness 的行为蒸馏训练进模型,然后移除 harness。结果训练后的模型轻松击败了原「模型+harness」组合。
核心论点:
- harness 中足够通用的部分可以被训练进模型,剩下的 harness 只需承载应用的独特性:你的工具、数据、用户和环境
- 你仍要构建 harness,但必须准备好定期扔掉并重建它以跟上模型迭代
配套流程(配图)——新模型发布时该重跑什么:
- 给每条 trace 打上 harness 与模型版本标签
- 记录干预:模型走了哪步、harness 改了什么
- 在新模型上逐一关闭 harness 组件
- 重跑 evals,保留仍有用的,删掉其余
反复执行,读 trace 而非只看分数——分数无法显示哪个改动起了作用。
「编程与Agent」频道最新
- Tim O'Reilly 谈 AI 经济缺什么：开放架构胜过开源许可证 — bibryam · 2026-11-05
- 开发者支招：给 Agent 装 GitHub CLI，Issues/PR/CI 状态全打通 — DanielLockyer · 2026-11-05
- Reddit 网友实测：Claude Code 压缩上下文别换模型，同模型缓存命中省 75% — JoshuaJosephson · 2026-11-05
- 微软研究院 HCU：程序化+语义+视觉三通道统一通用 Agent 界面 — MicrosoftResearch · 2026-11-05
- NOFire 删掉多数 Agent:单循环诊断多 50%、成本低 60% — tianyin_xu · 2026-11-05
- 微软发力端侧编码 AI:128GB 统一内存 RTX Spark PC 免 token 费跑编码模型 — lee_stott · 2026-11-05