审计发现 GPQA 等基准最多有 12% 题目有问题
pawofdoom · reddit · 2026-07-29
审计发现 GPQA、MMLU-Pro、MMMU-Pro 最多有 12% 题目有问题
这条 Reddit 指向一篇论文和代码仓库，作者对多个热门基准做了系统审计，检查题目是否格式错误、答案键是否有误、以及是否存在多个合理答案。结果显示，在 GPQA-Extended、MMLU-Pro 和 MMMU-Pro 里，大约有 12% 的题目可以被明确判定为有问题。
把坏题移除后，清洗版上的顶级模型分数据称能升到约 98%，而原始版本常卡在 90% 出头。作者还一并发布了 -Clean 版本基准、完整的标注清单、原版与清洗版双评分、lm-eval-harness 任务以及 Hugging Face 数据集。
所属事件:研究揭示主流大模型评测集存在严重污染(2 条相关)→
「研究」频道最新
- Goodfire 创始人挑战叠加假说：InceptionV1 多语义性或另有成因 — petrusenko_max · 2026-10-16
- UPenn 实验：让 Claude 批判自己默认想法,研究灵感产出提升最多 — arjunrajlab · 2026-10-16
- 实测 11 种提示策略催 LLM 创意：直接要「非显而易见」的点子最有效 — arjunrajlab · 2026-10-16
- 研究者长期实验：什么样的提示词能让 LLM 产出最有意思的点子？ — arjunrajlab · 2026-10-16
- SimpleMark 论文:多比特文本水印可将每 token 失真限制在预算内 — rishabh16_ · 2026-10-16
- 斯坦福新论文:生成式表征学习做 tokenizer,省 7-8 倍训练算力 — HirokatuKataoka · 2026-10-16