单次最优跑分吹模型?研究员吐槽基准测试陋习
remilouf · x · 2026-10-24
remilouf 吐槽模型发布的常见操作:只挑一次(往往是最好的)基准测试跑分来宣称自家模型更强。这条锐评直指当前评测文化的通病——缺乏多次运行的方差报告,单次结果根本不足以支撑「更强」的结论。
「模型」频道最新
- dottxt 预告 Tool-Call Index:最差 provider 弄坏工具调用比最好高 17 倍 — remilouf · 2026-10-24
- 新量化格式 Gyro 被质疑是闭源版 EXL3：无公开数据证明更优 — nasone32 · 2026-10-24
- Haider 力挺 OpenAI：落伍论荒谬，最强模型尚未放出 — haider1 · 2026-10-24
- 两个顶级模型对同一笔困境债券判断迥异，分层推理后趋于一致 — AI Engineer · 2026-10-24
- 一个 f16 token 为何占 64KB 显存？Reddit 网友求解 KV Cache 之谜 — Fancy-Snow7 · 2026-10-24
- 博主困惑:Grok bot 获欧盟批准,OpenAI/Anthropic/Meta 同类产品均未过 — kimmonismus · 2026-10-24