让模型厂商自测基准,如同学生自己监考SAT
MattPerault · x · 2026-08-19
Matt Perault 转述 @RayanKrishnan 的类比:如果学生在家自己考 SAT、自己监考、自己报告分数,你会多信任这个结果?这正是允许模型开发商自行运行基准测试集的问题所在——凸显了独立第三方评测的必要性。
所属事件:AI 基准测试自测引质疑，独立评估受关注(2 条相关)→
「模型」频道最新
- LLM-as-a-Verifier 让 Nemotron 3.5 超 Terminal-Bench 提 9 分 — simonguozirui · 2026-10-16
- Bonsai 2 三值小模型实测：4B 性价比最佳，27B 一个技能意外掉链子 — cephaloform · 2026-10-16
- Meta 多语言 ASR 覆盖 1600 种语言，入选 TIME 2026 最佳发明 — AIatMeta · 2026-10-16
- Apollo:GLM-53 展现史无前例的更新感知推理 — repligate · 2026-10-16
- Bonsai 2 2B 端侧模型登 iPhone:120 token/s,速度两倍于 Qwen 3.5 2B — cephaloform · 2026-10-16
- 用户吐槽 ChatGPT 越来越多 bug:扩展失效、Computer Use 反复索要权限 — sytelus · 2026-10-16