LLM 评测被指存在选项偏置，去偏后模型分数反而下滑

Hugging Face 开发者 antoinechaffin 分享评测偏置观察：让 LLM 生成数值题干扰项时，模型常把干扰项设为中间值、把答案放极端值，这种「极端值偏置」会显著传递到评测结果。他尝试对自己的决策模型做选项长度偏置的去偏处理，结果在 Habermas Machine 基准上从 60 分掉到 45 分，甚至低于「选最长」启发式的表现。他提醒，应关注模型是否真正解决任务，而非依赖其与评测设置的匹配度。

2026-10-29 ~ 2026-10-29 · 3 条相关

• 去偏置选项长度偏好后,决策模型 Habermas Machine 分数反降 — antoine_chaffin · 2026-10-29
• 评测陷阱：LLM 判别模型对数值选项有「极端值偏置」，去偏后反被榜单降分 — antoine_chaffin · 2026-10-29
• 研究者警告：选项设置偏差让 LLM 评测成绩掩盖真实缺陷 — antoine_chaffin · 2026-10-29