Meta 长上下文 MRCR 成绩疑被刷分：微软报告显示可从 60% 提到 90%

eliebakouch · x · 2026-09-03

开发者 eliebakouch 指出 Meta 在长上下文评测 MRCR 上的成绩可能被严重刷分（benchmax）。他引用微软 MAI 技术报告：仅用约 1k 样本即可把 MRCR 分数从 60% 推高到 90% 以上，而微软还是用一个更小的模型做到的，情况更糟。

他补充澄清这并非针对 Meta 的攻击，只是没想到 MAI 报告显示的刷分幅度这么大，其他实验室可能也有类似做法；希望 Meta 今后披露更多技术细节。核心结论是：Meta 把 MRCR 作为唯一的长上下文基准而可能在该基准上严重过拟合，这样的评测结果有一定误导性。