构建优质评估第八期：如何让评估具备区分度

realmadhuguru · x · 2026-08-25

本文是构建优质评估系列的第八部分，探讨评估的区分性。一个好的评估应能区分出有实质差异的 AI 系统。如果所有系统得分相近（如给博士生做小学数学题），评估就失去了区分能力。但这并不意味着要无限增加难度导致全员失败。评估的黄金标准是：现实、困难且对能力差异敏感。随着模型进步，优质评估可能会饱和，届时需要调整策略。