Agent工程调查:89%有可观测性但仅52%做评测
Inevitable_Fee1895 · reddit · 2026-07-07
LangChain对约1300名从业者的「2025年Agent工程现状」调查显示:89%的Agent团队部署了可观测性/追踪,但仅52%运行评测,38%在每次Prompt变更时触发评测,在线评测约37%。 作者指出这一差距的核心误区:可观测性回答「Agent在单次运行中做了什么」,而评测才能回答「这次变更在输入分布上是变好还是变差」,两者回答的是不同问题。 对于有状态的多步骤Agent(含记忆、工具调用、子Agent),仅对最终答案打分会掩盖上游的失败;移动最快的团队将小型回归测试集作为每次Prompt/模型/工具变更的发布门禁。