MRCR分数不代表真实长上下文表现,研究者吁公布技术细节

eliebakouch · x · 2026-09-03

eliebakouch 针对 Anthropic 长上下文性能数据提出质疑:他认为如果以 MRCR 作为长上下文基准,Anthropic 应公布更多技术细节。他引用 Microsoft MAI 技术报告指出,MRCR 这类基准很容易通过训练「接近基准的合成数据」来刷分,而 Anthropic 和 Microsoft 都承认 MRCR 得分高低与用户实际长上下文体验并不相关。他在后续补充中提到,Anthropic 的 Jack Rae 刚发布了表现出色的模型,但希望对方在 Muse Spark 开源模型发布之际分享更多相关技术细节。