LangChain CEO 转发：先写 eval runner，再写 agent
hwchase17 · x · 2026-11-15
LangChain 创始人 Harrison Chase 转发了一条实践建议：构建 AI agent 时，先写评测运行器再写 agent 本身。配图清晰地展示了「Evals → Ports → Agent」的架构顺序。
团队在用 LangChain deep agents 构建采购到付款（P2P）流程中的发票查询 agent，评测先行的好处：
- 在写任何 skill 之前先定义「正确」是什么
- 每次 skill、模型或工具变更都在同一份 golden 数据集上重新打分
- 靠数字而非感觉改进 agent
工程实现上，agent 依赖名为 Ports 的小型 Python 接口（如 InvoicePort），并接入返回固定测试数据的 mock adapter，agent 无法察觉自己在与 mock 对话，从而获得可复现的评测结果。
「编程与Agent」频道最新
- 开发者第三次尝试后全面转向 T3 Code，称界面优于 ChatGPT 桌面版 — aniketapanjwani · 2026-11-15
- DeepMind 用 AlphaProof Code 四周验证 Signal 密码学代码 — dl_weekly · 2026-11-15
- 16 任 MVP 用原生 PowerShell 造 agent，接入微软智能终端 — dfinke · 2026-11-15
- Agent 监控工具 Raindrop 允许编码智能体先建号、人再认领 — New-Tailor4071 · 2026-11-15
- 技能库动态进化的 Agent 如何做评测？版本冻结成关键 — tahaan · 2026-11-15
- 插件耗尽 Codex Pro 额度:修一行 lint 烧掉 5000 万 token — generativist · 2026-11-15