MRCR 长上下文基准被指刷分，作者回应引争议
Hugging Face 研究员 eliebakouch 公开质疑长上下文基准 MRCR 存在严重刷分（benchmaxed）问题：微软 MAI 技术报告显示，仅用约 1k 样本微调即可把 MRCR 成绩从 60% 推高到 90% 以上，因此单看 MRCR 分数衡量模型长上下文能力具有误导性。他先后点名 Meta 和 Anthropic 的长上下文成绩，呼吁厂商公布更多技术细节。
已确认
- 微软 MAI 技术报告显示，约 1k 样本即可将 MRCR 分数从 60% 提升至 90% 以上；微软自身采用了规模更大、更严格的评测方式。
- eliebakouch 引用该报告，在 09-03 至 09-04 间连续多次发帖，对 Meta 和 Anthropic 的长上下文成绩与性能数据提出质疑，并在回应 Google DeepMind 的 Jack Rae 时重申观点。
- Google MRCR 作者 Kiran Vodrahalli 对争议作出回应。
尚未确认
- 各厂商是否确实通过针对性训练刷高了 MRCR 分数。eliebakouch 要求 Anthropic 公布更多长上下文技术细节，厂商尚未给出完整说明。
争议焦点
- eliebakouch 认为 MRCR 作为长上下文基准非常容易被刷分，MRCR 高分不等于真实的长文能力，仅以它衡量长上下文能力会误导用户。
- Kiran Vodrahalli 回应称，MRCR 本质上不是「大海捞针」式检索测试，而是考察模型对内容顺序（ordering）的理解，暗示针对「刷分」的批评可能误读了基准设计目标。
为什么重要
- 长上下文能力是当前大模型竞争的核心卖点，若评测基准可被少量微调样本轻易刷高，厂商公布的分数参考价值将大打折扣。这场争论促使社区重新审视长上下文评测方法，并要求厂商披露更多技术细节以证明成绩可信。
2026-09-03 ~ 2026-09-04 · 6 条相关
一手来源
- MRCR 疑似被刷爆：1k 样本即可把长上下文成绩从 60% 提到 90% — eliebakouch ·
- MRCR 作者回应刷分争议：它测的不是检索，而是顺序理解 — eliebakouch ·
- MRCR分数不代表真实长上下文表现,研究者吁公布技术细节 — eliebakouch ·
- 【源头】MRCR 疑似被刷爆：1k 样本即可把长上下文成绩从 60% 提到 90% — eliebakouch · 2026-09-03
- 【源头】MRCR 作者回应刷分争议：它测的不是检索，而是顺序理解 — eliebakouch · 2026-09-03
- Meta 长上下文 MRCR 成绩疑被刷分：微软报告显示可从 60% 提到 90% — eliebakouch · 2026-09-03
- 【源头】MRCR分数不代表真实长上下文表现,研究者吁公布技术细节 — eliebakouch · 2026-09-03
- 研究者呼吁公开长上下文技术细节:MRCR 高分≠真长文能力 — eliebakouch · 2026-09-03
另有 1 条近重复转述:eliebakouch