LangChain 工程师：仅靠生产 traces 自动生成 evals 远远不够

BraceSproul · x · 2026-10-16

针对越来越多公司让编码 agent 根据生产 traces 自动生成 evals 的做法，LangChain 的 Brace Sproul 提出告诫：只用用户真实流量产生的 traces 做 evals，得到的永远只是「回归测试式 evals」。

他认为这类 evals 该有，但做 eval 开发时超过 50% 的时间应花在探索 agent「理论上能处理什么」，并为此编写评测——这既能覆盖生产中的真实请求，也能在用户踩坑之前发现问题。结论是：不能简单把 prod traces 转成 evals，需要更主动的评测设计。