被输出护栏拦下的付费调用算什么？Agent 计量口径实操讨论

Rama_Surasani_ · reddit · 2026-09-24

作者提出一个 Agent 系统计量的实际问题：100 个 agent 请求中，输入检查在调模型前拦下 10 个，输出检查在生成后拦下 5 个——用户收到 85 个回答，但供应商实际处理了 90 次调用。单一「成功率」无法同时解释送达、安全决策与花费。他建议记录：拦截发生阶段、是否调用供应商、产生成本、答案是否送达用户，并跟踪「每个送达答案的成本」与输出拦截率两个指标。最后向社区提问：被扣留的付费调用应如何计入工作负载预算与可靠性目标？