GPQA 基准疑似被训练污染
teortaxesTex · x · 2026-07-16
这条在吐槽一个研究现象：有人把 GPQA Diamond 的评测数据做了“很轻微的改写”，然后拿去训练了 10 个 epoch。
核心意思是：即便只是轻度重写，若训练集和基准测试集重叠，仍会严重污染评测结果，导致模型成绩看起来更好但不可信。
所属事件:SOOFI 评测泄漏与基线对比争议(13 条相关)→
「研究」频道最新
- GameWorld 获 ECCV 2026 多模态数字代理研讨会最佳论文亚军 — MikeShou1 · 2026-09-11
- 3D ResNet 论文八年突破 3000 引用，Kinetics 数据集成里程碑 — HirokatuKataoka · 2026-09-11
- 把数据调度变成优化的一部分：样本选择与排序影响 LLM 训练 — Puzzleheaded_Box2842 · 2026-09-11
- Jeff Heaton《神经网络数学导论》开放免费完整下载 — blaizedsouza · 2026-09-11
- 数学家 Daniel Litt 上线问题库,15 题仅 1 题被解,用来追踪 AI 解题进度 — littmath · 2026-09-11
- AI 智能体协作优化 secp256k1 量子电路,挑战打破 ECDSA — StefanoGogioso · 2026-09-11