5 次评测 73%~93%:LLM 评估的波动远大于你的「提升」

irombie · x · 2026-10-30

作者指出 agent 评测中的四个常见误区之一:「It works」并不等于任务成功。工具调用全部正确,任务仍可能失败;答案正确也可能来自循环和烧 token。正确做法是对整条轨迹打分:工具调用正确性、任务完成度、步骤效率、计划遵循度。

更关键的发现是评测的巨大随机性:同一模型、同一评测,跑 5 次结果从 73% 到 93%。即使温度设为 0 也救不了——同一 prompt 跑 1000 个样本,得到 80 种不同回答。作者的修复建议是:重跑多次并报告波动区间,任何小于波动的变化都是方差,不是结论。