Meta 长上下文 MRCR 被指刷分:1k 样本可从 60% 提到 90%+
eliebakouch · x · 2026-09-04
eliebakouch 对 Meta 长上下文 MRCR 成绩提出重要更正:仅以 MRCR 作为长上下文基准有误导性,Meta 很可能严重过拟合。微软 MAI 技术报告显示,只用 1000 个样本就能把 MRCR 分数从 60% 刷到 90% 以上——而且是更小的模型做到的,刷分嫌疑更重。Google 的 Denny Zhou 则补充他们在 graph walks 上也有未公开的 SOTA 结果。
所属事件:MRCR 长上下文基准被指刷分，作者回应引争议(6 条相关)→
「模型」频道最新
- 低延迟语音模型该端侧常驻：Phonon 开源引发讨论 — timshi_ai · 2026-10-21
- Cloudflare 27B 多模态决策模型 Clef 上架 Ollama,可本地运行 — ollama · 2026-10-21
- 陶哲轩评 OpenAI 数学题发布：解题本身不是目的 — haider1 · 2026-10-21
- 陶哲轩评 OpenAI 数学成果:我要的是深层理解,不是解题本身 — haider1 · 2026-10-21
- 用户抱怨 ChatGPT 桌面端频繁崩溃，连累所有 Agent 中断 — wstone_bd · 2026-10-21
- 波兰开发者回应质疑:开源旗舰模型基于 Gemma,非简单 LoRA 微调 — ColinWPLewis · 2026-10-21