研究者呼吁公开长上下文技术细节:MRCR 高分≠真长文能力
eliebakouch · x · 2026-09-03
Hugging Face 研究员 eliebakouch 回应 Google DeepMind 的 Jack Rae,指出 MRCR 作为长上下文基准非常容易被「刷分」——Microsoft 的 MAI 技术报告与 Anthropic 都表示,MRCR 得分更高(很可能因为训练中用了类似基准的合成数据)并不对应真实的长上下文用户体验。
他呼吁各大实验室公开更多长上下文技术细节,并猜测其他实验室可能也在做类似工作但未披露;还提到开源权重模型 Muse Spark 即将发布,或许是一个分享这类技术细节的好机会。
所属事件:MRCR 长上下文基准被指刷分，作者回应引争议(6 条相关)→
「模型」频道最新
- 实测发现 4-bit 以下开源模型自迭代生成 3D 资产很吃力 — mervenoyann · 2026-10-21
- 研究者用前沿模型 76 分钟挖出首个 Windows 0-day — moyix · 2026-10-21
- 开发者实测:Gemini Argon 分析调试日志优于 Fable 5.1 — ShikharMurty · 2026-10-21
- 用户让 ChatGPT「尖叫」，它陷入无限循环 AAAAHHH 停不下来 — AutomaticScene · 2026-10-21
- 开源新模型 Ornith-1.5-122B 发布:SWE-bench 84.5%,单卡 DGX 可跑 — _akhaliq · 2026-10-21
- qev-0.8B:3.5毫秒决策、1.3GB本地跑的微型模型登顶 — fajfas3 · 2026-10-21