MaxxBench 评测引争议:被指混淆刷榜与模型真实能力
新评测基准 MaxxBench(unLAP)在社区引发激烈争议,讨论称 GLM、DeepSeek、Meta、Gemini Flash 等模型光环受损。teortaxesTex 猛烈批评该评测刻意混淆刷榜、过拟合与模型无法适应新规格下游任务三件事,并称相关研究是「货物崇拜科学」,未真正证明刷榜只是混淆归因。作者随后让 Opus 检查基准数据,称模型 pass rate 下滑主因是过拟合而非能力崩塌。
2026-11-08 ~ 2026-11-09 · 3 条相关
- 第 1 集:MaxxBench 微改 DeepSWE 题目，同分模型拉开 23 分差距(2026-11-08,8 条)
- 第 2 集:MaxxBench 评测引争议:被指混淆刷榜与模型真实能力(2026-11-08,3 条)
- 第 3 集:DeepSeek 新模型评测连番翻车，刷榜与对齐缺陷引热议(2026-11-08,2 条)
- MaxxBench 遭批：刻意混淆刷榜与模型真实适应能力 — teortaxesTex · 2026-11-08
- MaxxBench 争议:作者称成绩下滑主因是过拟合而非能力崩塌 — teortaxesTex · 2026-11-09
- MaxxBench 研究被批「货物崇拜科学」:未证明刷榜只混淆归因 — teortaxesTex · 2026-11-09