What AI Benchmarks Actually Measure: Adapting Convergent and Discriminant Validity to Interrogate Fifty-Six AI Benchmarks
Meera Desai, Sang T. Truong, Hanna Wallach, Alex Chouldechova, A. Feder Cooper, Jean Garcia-Gathright, Daniel E. Ho, Abigail Z. Jacobs, Sanmi Koyejo, Nicholas Pangakis, Angelina Wang
cs.CY
2026-09-08
对53个模型在56个基准上做效度检验，同名安全概念经常弱相关，能力概念几乎分不开，BBQ更贴近推理。
模型卡片上的 reasoning、refusal、bias 分数，会被当成能力与安全的压缩摘要，拿去排研究优先级、做采购。一套基准到底有没有测到它声称的概念，长期停在定性批评。
社会科学用聚合效度（convergent validity）和区分效度（discriminant validity）检查这件事：同类测量该一起动，异类不该那么像。直接套到 AI 基准会卡住。概念经常写含糊，低相关既可能是尺子失效，也可能是两套基准对「推理」的理解不同；几乎没有金标准。这篇 COLM 2026 论文改成群体比较：同一 assigned concept 下排名够不够聚，不同概念分不分得开。Michigan、Stanford、Microsoft Research 等机构用 53 个指令微调模型、56 个基准做了审问，条目级和基准级分数放到 HuggingFace。
每套基准贴一个 assigned concept：HELM 跟其 targeted evaluation 分类，其余按引入论文原话归纳。SGBench 的 safety discrimination 和 Aegis 的 content safety 都归到 safety detection。能力侧 17 套、4 个概念（reasoning、knowledge、comprehension、summarization），安全侧 39 套、7 个概念。53 个模型跨 31 个家族，开源从 0.5B 到 685B。超过 1000 题的抽 1000 题，全部 zero-shot、temperature 1，按各论文原指标打分。
主分析是模型排名的 Spearman 相关，按模型家族做 cluster bootstrap。条目级用 1PL IRT：对每对二值基准，比较「共用一个潜在能力」和「各估一套」，在 20% hold-out 上的 AUC 差叫 ΔAUC（10 次分割平均）。接近 0 表示一个能力就够，正且大表示该拆开。
筛掉 4 套饱和基准（顶模与中位模归一化分差低于 0.05：DecodingTrust Stereotype、CIVICS、BoolQ、IMDB）和 4 套格式不兼容基准（WikiFact、Dyck、bAbI、Synthetic Reasoning Abstract）。余下 48 套做相关，37 套进 IRT。与 HELM 重叠且保留的 10 套，排名 Spearman 均值 0.74；被踢的 4 套只有 0.25。个别基准再算 relabeling 统计量：跟假设概念的平均绝对相关减去跟现贴概念的，正值支持改标签（5000 次家族 bootstrap）。
安全概念经常聚不起来。refusal、safety detection、bias 的两两 Spearman 四分位距很宽，常贴近或低于 0。同类能力均值 ΔAUC 为 0.012（95% CI [0.011, 0.012]），同类安全为 0.0323（[0.0319, 0.0326]）。论文写明很多安全概念本身多维，低相关不能直接定罪。
能力概念经常分不开。reasoning 对 knowledge 的跨概念 ΔAUC 是 0.011，夹在同类 reasoning 的 0.016 与同类 knowledge 的 0.002 之间。summarization 是例外。ethics、bias、privacy、unsafe behavior 跟能力的相关往往高于自己内部；ethics 对能力的 ΔAUC 是 0.012，与能力内部相同。这和 Ren 等人的 safetywashing 观察同向。
refusal 与 over-refusal 设计上该反向，经验上也是：拒绝分高的模型过度拒绝分往往低，跨概念 ΔAUC 0.062，全部配对里最高。
设计有时比概念更能解释排名。偏见基准按同一模板的性别或种族变体聚类，不按人口统计目标。偏 Mantel 三分法（选择题 / exact-match 开放题 / LLM-judge 开放题）下格式 β=0.275（p<0.0001），概念 β=0.138（p=0.003）；压成 LLM-judge 对其他之后，格式 β=0.526，概念不显著（β=-0.058，p=0.998）。SGBench-mcq 跟其他选择题聚在一起，不跟 LLM-judge 拒绝基准聚。
BBQ-accuracy 声称测 bias，更贴近 reasoning（relabeling 0.15，95% CI [0.07, 0.23]，p<0.001）。暧昧社交题的正确答案是「无法判断」，偏见模型和推理差的模型都会选错。DecodingTrust-Fair 更贴近 knowledge（0.14，[0.05, 0.24]，p=0.002），且为负相关。OR-Bench 坚持 over-refusal，对 reasoning、knowledge、comprehension 的统计量从 -0.62 到 -0.52。BBQ-accuracy 常是近期商业模型发布里唯一报的偏见基准。只报它，偏见评估留了空缺。
| 比较 | 指标 | 数值 |
| 同类能力 vs 同类安全 | 均值 ΔAUC | 0.012 vs 0.0323 |
| reasoning 内 / knowledge 内 / 二者之间 | 均值 ΔAUC | 0.016 / 0.002 / 0.011 |
| 格式 vs 概念（三分法 Mantel） | β | 0.275 vs 0.138 |
| BBQ-accuracy 改贴 reasoning | relabeling | 0.15，p<0.001 |
| 与 HELM 重叠保留集 | 排名 Spearman | 0.74 |
把 reasoning 上涨和 bias 下降当成互相独立的进度，这篇给出的是测量学警告。能力侧很多基准可能在读同一坨通用能力；安全侧同名概念经常对不齐；LLM-judge 这类评分格式能把相关结构拧到概念标签上面。
新基准开发者可以把放出的 53 个模型分数当对照集，只评自己的新尺子再跑 relabeling。商业卡上只见 BBQ-accuracy，不能当成偏见评估已经做完。这是方法迁移加大规模实证，不是新训练算法。
概念本身经常写不清楚。弱相关可能是尺子失效，也可能是 bias、refusal 本来就不是单一维度。论文强调低相关不足以单独定罪。
IRT 假设基准近似单维，安全基准尤其可能不满足。CALM 与 EntityMatching 的排名相关 r=0.57，但 ΔAUC=0.063，条目模式更像两套特质。判别分析没把通用能力这一维残差掉，论文建议对相关矩阵第一主成分做 residualize。
评测协议是 zero-shot、temperature 1，跟 HELM 的 few-shot、temperature 0 不一致，已因此踢掉 4 套 exact-match 开放题。只收英文、单轮、可自动打分的基准。整次收集约 1050 个 H200 GPU 小时；按 2024 年 10 月前后各 27 / 26 个模型拆开，结论方向仍在。