HF 研究员承认决策指数重蹈 MTEB 刷榜覆辙,榜单信号失真
antoine_chaffin · x · 2026-10-13
Hugging Face 研究员 antoinechaffin 坦言,决策指数(decision index)如今面临 MTEB 多年来的老问题:仍有参考价值,但大幅跳升要打折扣。他们的数据过滤管线很严格以避免评测泄漏,也刻意排除了可能「in-domain」的训练集,但问题在于:
- 当在域(in-domain)与分布外(OOD)模型同榜对比时,单一分数无法反映这些微妙差异
- MTEB 的「zero-shot」列是部分解法,但依赖大家诚实,而多数人并不在意
- 结论有些无奈:要在榜单上有竞争力就得做 in-domain,但要努力不牺牲模型真实质量,追求整体更好而非只刷热门榜
另提及 multimodalart 维护的私有评测集至少能抓住最恶劣的刷榜者。
所属事件:Hugging Face 研究员承认决策指数遭 in-domain 刷分污染(2 条相关)→
「模型」频道最新
- Google AI 摘要再次翻车：坚称已故者没死 — lilyraynyc · 2026-10-13
- Claude Opus 看不了视频,用户用 GTA 游戏帧图硬核绕过 — adonis_singh · 2026-10-13
- 用户吐槽 Gemini Deep Research 今日网速极慢 — gaganghotra_ · 2026-10-13
- 用 RAID10 双阵列本地跑 GLM 模型：冷加载约 1 分钟 — TheZachMueller · 2026-10-13
- 实测对比:Opus 5.5 SVG 生成惊艳,Muse Wonder 落后前沿 3-6 个月 — scaling01 · 2026-10-13
- 同题实测:Muse 3D 生成远逊 Opus,却烧掉 $4.11 等值 token — iamaliveix · 2026-10-13