Meta 评测负责人晒 BenchBench 图：自家自报评测数领先各厂

ziqiao_ma · x · 2026-11-08

针对「实验室把评测外包给第三方」的质疑，Meta 评测团队成员 ziqiaoma 回应称实验室都在跑内部评测，并展示了自制的 BenchBench 图表：仅按模型卡自报口径，其团队报告的评测数量（85 项全自报）超过对比中的大多数实验室（Claude Haiku 5.5 仅 7 项、DeepSeek V4.1 与 GPT-6 Luna 各 11 项）。她解释第三方评测是对内部工作的补充——许多基准为防刷榜不公开测试集，需第三方检验 held-out 泛化；对公开基准团队也维护内部实现自行追踪。