JHU 论文:基准聚合分数可能系统性夸大模型真实能力
DanielKhashabi · x · 2026-10-22
约翰霍普金斯大学 Arda Uzunoglu、Tianjian Li、Daniel Khashabi 的论文《The Flaw of Averages》研究了基准聚合分数能否忠实反映模型在子领域上的表现。
- 提出基于熵的 Harmony 指标,衡量模型性能在各子领域间分布的均匀程度,作为「基准级分布鲁棒性」的量化。
- 在 5 个模型家族、19 个语言模型基准上测量,发现不同基准的分布鲁棒性差异巨大:低 Harmony 的基准更容易让聚合分数夸大模型的全面能力。
- 通过剪掉过度代表的子领域来提升 Harmony,会显著改变低 Harmony 基准的聚合分数,而高 Harmony 基准相对稳定:BoolQ 基本不变,而涉及医疗关键领域的 PubMedQA 聚合准确率出现大幅且常具统计显著性的偏移。
- 结论:聚合分数可能歪曲对模型能力广度的判断,选基准和读榜单时需要关注子领域分布。
「模型」频道最新
- ARC-AGI-3 战况：Tong Hui Kang 排第 20，距金牌一步之遥 — Youssef_M_Nader · 2026-10-22
- Anthropic 推出常驻个人 Agent Duet，试用者称使用时长首次与 ChatGPT 平分 — petergyang · 2026-10-22
- DeepSeek 开源全景：从模型权重到推理引擎几乎全栈开放 — examachine · 2026-10-22
- Anthropic 主动智能体 Duet 曝光：内部代号 aibo,演示 Stripe 购物流 — testingcatalog · 2026-10-22
- Recursive 发布 Flint：主要由 AI 自研的笔记本端编码模型 — TechCrunch AI · 2026-10-22
- Anthropic 向 Max 订阅用户发放 100 美元 API 额度 — ThePeterMick · 2026-10-22