Agent评测怎么做
OkBitOfConsideration · reddit · 2026-07-12
楼主在搭 agent 时反复遇到“手测没问题、后来悄悄坏掉”的情况，因此发帖询问大家是如何做评估的。 关注点包括： - 是否有固定测试集反复回归 - 只做端到端测试，还是也做工具/技能层检查 - 常用哪些工具，如 DeepEval、LangSmith、Ragas，或自建方案 - 评测体系要搭到什么程度，才开始能稳定提供信号
OkBitOfConsideration · reddit · 2026-07-12
楼主在搭 agent 时反复遇到“手测没问题、后来悄悄坏掉”的情况，因此发帖询问大家是如何做评估的。 关注点包括： - 是否有固定测试集反复回归 - 只做端到端测试，还是也做工具/技能层检查 - 常用哪些工具，如 DeepEval、LangSmith、Ragas，或自建方案 - 评测体系要搭到什么程度，才开始能稳定提供信号