评测陷阱：LLM 判别模型对数值选项有「极端值偏置」，去偏后反被榜单降分

antoine_chaffin · x · 2026-10-29

Hugging Face 开发者 antoinechaffin 分享一个评测偏置观察：让 LLM 生成数值题干扰项时，模型常把干扰项设为中间值、把答案放极端值，这种偏置会显著传递到多个 benchmark 上。

他对自己的决策模型做选项长度去偏后，在 Habermas Machine 上得分从 60 降到 45，甚至低于「选最长选项」的启发式基线（50%，随机约 24%）。他表示不在意榜单分数变差——去偏是防止模型在选项稍加几个 token 时就崩溃，即使这可能让大众榜单上的表现更难看。