POSTECH 论文:选择题评测偏差可拆解为翻转率与位置偏斜两因子
Hyunjong Ok · hf · 2026-10-16
POSTECH 团队论文（arXiv 2025-10-14）将多项选择评测中的选择偏差与顺序敏感性统一到一个指标：合并选择率标准差（pooled SD），并证明它恰好等于两个无标签因子的乘积——翻转率（答案随选项排序改变的问题比例）与位置偏斜（选项字母选择率的标准差）。
在 41 个模型检查点、12 个 benchmark 上的实证发现：
- 翻转率与准确率和输出不确定性相关；位置偏斜与选项符号先验相关
- 先验校正主要降低位置偏斜；对每个排序与其反转做聚合（顺序敏感性的缓解手段）主要降低翻转率
- 两者都能缩小正确答案字母间的准确率差距，但聚合带来的模型排名翻转更少
- 先校正再聚合可同时降低两个因子，进一步收窄差距
结论：两类缓解手段针对不同因子，评测报告应与准确率一起同时给出。
「研究」频道最新
- Nature 论文用 LLM 绘制人类语言神经元地图,机制可解释性已成现实 — raphaelmilliere · 2026-10-16
- 审稿人自述:把写好的审稿意见喂给 AI 复查,论文本身不上传 — StingMeleoron · 2026-10-16
- OpenAI proofdump 把 3SUM 纪录推向 O(n^1.921),Lean 验证通过 — iskander · 2026-10-16
- 为 Kaggle Gemma 4 竞赛选手整理的消融实验资源 — ayushthakur0 · 2026-10-16
- 专家预测 2100 年前全球 AI 灾难概率中位数为 5% — ben_j_todd · 2026-10-16
- 经济学家的历史镜鉴:拖拉机冲击下美国青少年延长在校时间 — soumitrashukla9 · 2026-10-16