Eval Cards 收录近千模型30万条评测,78%结果无法复现

davidmanheim · x · 2026-11-19

davidmanheim 在 Jason Wei「benchmark benchmark」(统计前沿实验室2026年报告的基准使用频率分布)的讨论串中,推介 Eval Cards 项目——一个针对 AI 评测结果的报告层,为 NeurIPS spotlight 论文。

关键数据(截至2026年11月18日):

同一串中还指出:HLE、SWE-Bench Pro、DeepSWE、Terminal-Bench 被前沿实验室普遍采用,其中两个背后是 Scale AI;OpenAI 是最热衷跑基准的实验室,但生物信息学领域基准(如 BioMysteryBench)几乎无人评测。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →