新研究:100 个 LLM 的评测高度冗余,跑更少任务即可排名
kalyan_kpl · x · 2026-11-09
论文《Are Many Tasks Necessary for General LLM Evaluation?》质疑当前通用评测平均大量任务分数的做法。
- 对 100 个 LLM 在 13 个聚合任务、523 个子任务上的数据分析显示,大量 benchmark 得分高度冗余
- 掩掉部分任务分数后,模型排名仍与 ALS 矩阵补全方法的结果保持高秩相关性
- 选择题分数可以恢复模型在自由生成任务上的排名
- 反过来,自由生成评测对通用排名并不比选择题更有信息量
结论:通用 LLM 评测可以用比现行实践少得多的任务完成。
「研究」频道最新
- 最强 3D 生成模型仍反复犯三类低级错误：Z-fighting、单面几何、坐标系错位 — teortaxesTex · 2026-11-09
- EPFL 研究者将在线讲解掩码扩散语言模型的轨迹感知训练 — AnnaCiaunica · 2026-11-09
- UC伯克利等新论文：Agent 自我进化提分 5.2 却丢掉 10 个原本会做的任务 — rohanpaul_ai · 2026-11-09
- MoE训练终极手册已有中文版：3万字50+交互图表全覆盖 — Nouamanetazi · 2026-11-09
- 斯坦福DSP传奇Julius Smith三小时深度访谈上线YouTube — teropa · 2026-11-09
- 硬件感知 LDM 实现:状态回卷+窗口写入,大幅降低激活内存与访存开销 — SonglinYang4 · 2026-11-09