Eval Cards 收录近千模型30万条评测,78%结果无法复现
davidmanheim · x · 2026-11-19
davidmanheim 在 Jason Wei「benchmark benchmark」(统计前沿实验室2026年报告的基准使用频率分布)的讨论串中,推介 Eval Cards 项目——一个针对 AI 评测结果的报告层,为 NeurIPS spotlight 论文。
关键数据(截至2026年11月18日):
- 收录 9,946 个模型、309,050 条 (模型,基准,指标) 结果三元组、52 个评测机构、2,116 个模型开发者、93 个基准家族、3,497 个基准
- 可复现性堪忧:仅 22% 的结果披露了全部设置项,78% 至少漏一项,最常缺失的是输出长度(74%)与解码设置(73%)
- 完整性均值 41%(范围 7%93%);仅 10% 的结果有第三方独立报告;17% 的同基准设置组存在跨版本分歧
同一串中还指出:HLE、SWE-Bench Pro、DeepSWE、Terminal-Bench 被前沿实验室普遍采用,其中两个背后是 Scale AI;OpenAI 是最热衷跑基准的实验室,但生物信息学领域基准(如 BioMysteryBench)几乎无人评测。
「研究」频道最新
- François Fleuret 热评:恰当归纳偏置反致梯度尖峰,社区因此回避正确的智能模型 — francoisfleuret · 2026-11-19
- Fleuret 犀利观点:完美归纳偏置引发 loss 暴跌,被误读为 loss spikes — francoisfleuret · 2026-11-19
- 开发者做 WebGPU playground 演示 Qwen3.5-0.8B 权重空间编程 — wsxiaoys · 2026-11-19
- Reddit 高赞讨论:ViT 能表达任意卷积层,但小设备上 CNN 先验仍不可替代 — burny_tech · 2026-11-19
- Jason Wei 统计前沿实验室跑分偏好,四大基准被全员采用 — davidmanheim · 2026-11-19
- PIPETTE:用字典学习修复 RL 红队模式崩溃,强化 Agent 抗注入能力 — Lipeng He · 2026-11-19