Agent=模型+Harness,评测应成 Harness 一等公民组件
hugobowne · x · 2026-09-08
Hugo Bowne-Anderson 转发 Vanishing Gradients 的客座文章,作者 Antaripa Saha(Quotient AI)结合 Hamel Husain 与 Shreya Shankar 的 AI Evals 课程经验,主张评测应是 harness 的一等公民组件。
核心观点:
- Agent = Model + Harness:模型提供能力,harness 通过工具、状态、记忆、执行环境、约束与反馈把能力转化为实际工作。
- 大多数 harness 讨论聚焦让 agent 能「行动」的部分(工具、文件系统、终端、沙箱),但最被忽视的是反馈——它决定这些能力到底是在帮忙还是徒增复杂度。
- Evals 是判断工具、记忆、权限、上下文等任何改动是否真正让系统变好的唯一手段,因此应纳入 harness 工程核心。
- 文章给出从 traces 到失败模式、领域特定标准、验证过的 judge 的工作流。
所属事件:Harness 工程兴起：评测应成 agent 核心组件(2 条相关)→
「编程与Agent」频道最新
- 零基础学员经 AI 辅导也能跑通完整 CI/CD 流水线 — curious_vii · 2026-10-26
- Ruff 作者感叹:前沿模型能在任何软件里找到无穷多 bug — charliermarsh · 2026-10-26
- 开发者实测同一 skill 跨 Opus 5.5 与 Sol 6.1:指令遵循表现参差 — lucasmeijer · 2026-10-26
- 用小开源模型逆向工程游戏二进制:主 agent 中途重写子 agent 的 harness — yb2698 · 2026-10-26
- ContractSim：首个评估 LLM 自然语言合同谈判的框架 — xuanalogue · 2026-10-26
- Hugging Face 线下研讨会：微软、Mercor 等四方实战分享 Agent 后训练方法 — Hugging Face · 2026-10-26