LangChain 提出 Eval-Driven Development:先写评测再改 Agent
udmrzn · x · 2026-11-12
LangChain 发布长文《What Is Eval-Driven Development》,系统介绍 EDD 方法论:先把"什么算好"写成简短 spec,在建 Agent 之前先写 Eval、跑 Baseline,之后每次改动(换 Prompt、加工具、改 Harness)都在同一套任务集上对比效果,并把 Eval 接入 CI 和生产环境,把线上失败案例转成新测试集。
文中的典型翻车案例很有代表性:给知识库 Agent 新增 createticket 工具后整体 Eval 分数上升,结果它连"VPN 怎么连"这类普通咨询也开始创建工单——通过 Trace 排查发现是工具描述写得过于宽泛。由此引出两条要点:
- 不能只看 Eval 平均分:一次改动可能改善新任务却破坏原有功能,必须检查执行轨迹
- 保留独立测试集,避免反复优化导致过拟合
这套流程适用于现在常见的调整 Skill、改 Workflow、更换 Harness 的迭代场景,让每次改动有据可依。
「编程与Agent」频道最新
- 微软工程实践:LLM 提议排期,代码负责验证与兜底 — WirelessLife · 2026-11-12
- 开发者用积木式脚本给街机游戏接 AI 对手：开发易设计难 — ezshine · 2026-11-12
- Gradient Labs 推 Conversations API：让 AI 客服 agent 无头化嵌入银行后端 — neal_lathia · 2026-11-12
- Microsoft Agent Framework for Go 推 agent harness，免重复配置 — adnan_hashmi · 2026-11-12
- 开发者自制 Kimi K3.1 Pro 编码微调数据集，LFM3 版下载量意外爆棚 — alexcovo_eth · 2026-11-12
- 开源 fabric-planning-skill：用 Copilot skill 管理 Microsoft Fabric 计划 — adnan_hashmi · 2026-11-12