工具型Agent该怎么评测
ParticularRadiant690 · reddit · 2026-07-13
作者认为，评估带工具调用的 LLM 系统时，不能只看**最终答案对不对**，否则会把“运气好但过程很差”的运行和“执行干净、可复现”的运行混为一谈。 他提出应单独记录和评估这些维度： - 是否选对工具、何时调用工具 - 是否在工具调用间保留了足够上下文 - 是否会先验证结果再继续 - 是否能从部分失败中恢复 - 是否会重复执行同一个失败动作 - 事后能否被人审计 最后他想问的是：做真实工具调用的团队，内部到底如何打分与记录这些行为指标。