npm 联创 Laurie Voss 实战教学:七步为 Claude Agent 搭建评测闭环
AI Engineer · youtube · 2026-10-18
Arize AI 开发者关系负责人、npm 联合创始人 Laurie Voss 在 AI Engineer NYC 2026 的完整 workshop，手把手为一个 Claude 金融分析 agent 搭建评测（evals）闭环。起因是一个真实翻车：agent 自信地写出「116% 的分析师同意」的报告，而所有检查都没拦住它。
工作坊路线：
- 用 Arize Phoenix 对 agent 做追踪（tracing），学会读 trace
- 区分 code evals、LLM-as-a-judge 与人工审查的适用场景
- 写一个正确性 eval，并解释为什么它起初对每份报告都判失败
- 自己写 judge，再测试 judge 本身是否可信
- 用 experiments 用证据验证 prompt 修复，并完成从 Claude Haiku 4.5 到 5.5 的升级决策
- 最后把 evals 接入 CI，用 npm test 做发布门禁
核心观点：「Looks good to me」不是测试套件——agent 会自信地犯错，必须用可复现的评测体系兜底。
「编程与Agent」频道最新
- OpenAI Codex 每周用量重置已上线，用户额度界面恢复 100% — ChrisUniverse · 2026-10-18
- Claude Opus 剖析 agent 无听觉作曲：靠色度与频谱图代 替耳朵 — teortaxesTex · 2026-10-18
- AI agent 自主写合成器代码，纯程序化生成蒸汽波配乐 — teortaxesTex · 2026-10-18
- 用 ChatGPT 插件让 Dot 每小时自动监控新闻并推送提醒 — koltregaskes · 2026-10-18
- Optimus 发布:自主 RL Agent 全自动跑并行训练实验 — _AustinCalvert_ · 2026-10-18
- GitHub Copilot 接入微软 Work IQ MCP，批量建 issue 从数小时缩到 30 分钟 — DanWahlin · 2026-10-18