只看 pass/fail 分数已无法解读评测:隐藏测试过严致大量误判
trq212 · x · 2026-09-12
作者指出,如今仅凭 benchmark 的 pass/fail 分数已很难解读模型真实能力:他观察到的许多「失败」案例其实源于过于严苛的隐藏测试,有些情况下模型的答案比评测的标准答案更合理。这提示当前 eval 的标注质量与判定规则正在成为噪声来源。
所属事件:从业者集中吐槽：仅看 pass/fail 分数已无法解读 AI 评测(6 条相关)→
「模型」频道最新
- Artificial Analysis 发布 Intelligence Index v5:四大类九项基准各占 25% — ArtificialAnlys · 2026-10-28
- AA 同步推出 Progress Index v1:把 2022 年 11 月以来所有模型放到同一能力标尺 — ArtificialAnlys · 2026-10-28
- v5 榜单任务更重:单任务输出 token 中位数从 35k 涨到 59k — ArtificialAnlys · 2026-10-28
- effort 档位影响扩大:Opus 5.5 低到高成本差 10 倍、分差 23 分 — ArtificialAnlys · 2026-10-28
- 头部模型单任务成本差 8 倍:GPT-6.1 Sol 仅 $1.27 逼近 Opus 5.5 的 $10.04 — ArtificialAnlys · 2026-10-28
- 开源权重阵营在 v5 掉队:差距从 3 分拉大到 12 分 — ArtificialAnlys · 2026-10-28