Agent评测应区分决策质量与执行完整性，提出五阶段状态机
ParticularRadiant690 · reddit · 2026-07-07
作者指出当前Agent评测过度关注最终答案，忽视了外部操作的执行完整性。即使模型决策正确，因授权过期、请求超时、重复扣费、结果丢失等原因，Agent仍可能任务失败。 提出两类独立评分：①决策质量（答案或选择是否正确）；②执行完整性（外部操作是否恰好完成一次并得到验证）。设计五阶段执行状态机：proposed→authorized→executed→acknowledged→verified，Agent不应在未到达最终状态时宣告任务完成。