AI评测不该只看单句答案
Zhou_Yu_AI · x · 2026-07-14
作者指出，**“每个回答都答对”不等于“任务真的完成”**。文中以访问权限审批为例：模型在每一步回复上都可能表现得很专业、相关、准确，但如果把权限给错了人，最终对用户来说仍然是失败。 他认为问题出在现有评测单位太小：我们通常逐条给回答打分，却没有覆盖整段任务链路。更合理的评测应关注： - agent 是否问了正确的澄清问题 - 是否能在长对话里保持上下文 - 是否能在出错后恢复 - 用户最终是否真正拿到了想要的结果 结论是：AI 测试的中心不应只是模型输出，而应回到“用户任务是否完成”。