3500 字实操指南:从 trace 出发为 LangGraph agent 构建 eval
strickvl · x · 2026-11-21
Hugging Face 工程师 Hazem Tahir(htahir111)发布了一篇约 3500 词的长文,讲解如何为一个真实运行的 agent 从零搭建 evals。
- 案例载体:一个用 LangGraph 构建的报销审核(expense review)agent,以它产生的真实 traces 为素材。
- 路径:从 agent 的第一条 trace 出发,逐步迭代到一套可信的 evaluator,覆盖如何阅读 trace、从哪些失败模式抽取评测维度、如何把人审判断固化为可复跑的评测。
- 后续:作者计划把这篇扩展成系列文章,后续几天陆续发布,适合作为周末长读。
对正在做 agent 的开发者而言,这是一份少见的「以真实 trace 为起点」的 eval 工程实操材料,而非泛泛的评测方法论讨论。
「编程与Agent」频道最新
- Microsoft Foundry 预览版推出工具治理:Azure Policy 管控 Agent 工具白名单 — adnan_hashmi · 2026-11-21
- VS Code 1.147 正式上线 Skills-over-MCP,技能随服务器分发 — lee_stott · 2026-11-21
- 新基准揭示前沿模型多智能体协作普遍不佳 — AlexGDimakis · 2026-11-21
- LukeW 整理「Crazy Agent Scale」活动完整笔记,swyx 等人畅谈代理式未来 — LukeW · 2026-11-21
- 用 Gemini 加 Antigravity 编排 agent 群,独立开发者做 SEO 分析 — gaganghotra_ · 2026-11-21
- 实测用 Defender for Endpoint 发现 Windows 上的本地 AI 代理 — davemccollough · 2026-11-21