研究者探讨 AI 评测设计：需具备模型同理心

近期多位研究者探讨了 AI 评测设计的优化原则。观点指出，设计任务需具备“模型同理心”，应站在模型视角而非仅凭人类直觉出题。同时，评测失真常源于模型通过提示词学到了“正在考试”的信号从而产生相关性偏差。为此，建议将评测划分为中性、正面与负面三类，确保任务更贴近真实自然场景，以提升评估的准确性。

2026-07-22 ~ 2026-07-22 · 3 条相关

• 评测设计要懂模型，而不只是把题目做难 — i_dg23 · 2026-07-22
• 有研究者提出，评测应分中性、负面和正面三类 — secemp9 · 2026-07-22
• 评测失真,往往是提示词教会模型知道自己在考试 — secemp9 · 2026-07-22