LangChain 提出 Eval-Driven Development:像 TDD 一样开发 AI Agent
hwchase17 · x · 2026-11-10
LangChain 博客系统介绍 Eval-Driven Development(EDD),将其类比为 agent 开发中的 TDD:不再靠手调 prompt 猜好坏,而是用固定评测集衡量每次改动。三步流程:
- 定义「好」的样子:写一份简短 spec,说明期望行为、不该做什么、必须保持正常的功能。
- 先写评测再开发:像 TDD 一样在构建前建立可度量的评测。
- 改动并对比实验:通过实验对比判断每次改动,因为修复一个 case 可能弄坏另一个。
关键实践:把评测接入 CI 和生产环境持续运行;把线上发现的失败 case 转化为新的数据集样本,持续「向评测爬山」。LangChain 自称在开发其最复杂的 agent(如 IssueBench)时采用了这套方法。
所属事件:LangChain 提出 Eval 驱动开发：像 TDD 一样造 Agent(2 条相关)→
「编程与Agent」频道最新
- 正反合辩证法吐槽：LLM 和人类程序员都写不好生产代码 — ShenRaphael · 2026-11-10
- 博主晒 SteerCamp 多智能体团队每日站会：各 agent 汇报进度与卡点 — pramodk73 · 2026-11-10
- 让 Codex 连跑两天：自动重写旧版 Android 教材项目并重截图 — burkov · 2026-11-10
- 网传 Fable 5.2 编程测试得 49.1% 居首，成本约为 Opus 一半 — FinanceYF5 · 2026-11-10
- Mnemos 记忆系统让 Claude 跨会话保持「心情连续性」 — RileyRalmuto · 2026-11-10
- AutoVend 基准：LLM 智能体经营 20 台自动售货机，5 个中 4 个跑不赢规则基线 — Qiming Shi · 2026-11-10