MRCR 疑似被刷爆：1k 样本即可把长上下文成绩从 60% 提到 90%
eliebakouch · x · 2026-09-03
研究员 eliebakouch 指出长上下文基准 MRCR 疑似被严重 overfit（benchmaxed），只用它衡量长上下文能力有误导性。
- 微软 MAI 技术报告显示，仅用 1k 样本微调就能把 MRCR 成绩从 60% 拉到 90%+，而且做到 90%+ 的是更小的模型，说明该基准很容易被针对性优化。
- 被引用讨论的 Muse Spark 1.3 在 MRCR 上表现亮眼，但在其他长上下文基准（如 graphwalks、AA-LCR）上并无对应优势，进一步佐证刷分嫌疑。
- 作者推测多数发布 MRCR 成绩的厂商（不只 Meta）都可能在训练中混入了合成样本；微软表示无证据表明刷分带来通用能力提升，Anthropic 几个月前也已停止发布 MRCR 成绩。
作者呼吁厂商发布更多样化的长上下文基准（如 graphwalks）以及 test-time scaling 曲线，而非只给单一原始分数。
所属事件:MRCR 长上下文基准被指刷分，作者回应引争议(6 条相关)→
「模型」频道最新
- 低延迟语音模型该端侧常驻：Phonon 开源引发讨论 — timshi_ai · 2026-10-21
- Cloudflare 27B 多模态决策模型 Clef 上架 Ollama,可本地运行 — ollama · 2026-10-21
- 陶哲轩评 OpenAI 数学题发布：解题本身不是目的 — haider1 · 2026-10-21
- 陶哲轩评 OpenAI 数学成果:我要的是深层理解,不是解题本身 — haider1 · 2026-10-21
- 用户抱怨 ChatGPT 桌面端频繁崩溃，连累所有 Agent 中断 — wstone_bd · 2026-10-21
- 波兰开发者回应质疑:开源旗舰模型基于 Gemma,非简单 LoRA 微调 — ColinWPLewis · 2026-10-21