Decision Index 沦为下一个 MTEB：作者亲述榜单被 in-domain 刷分污染
antoine_chaffin · x · 2026-10-13
Decision Index 榜单作者 antoinechaffin 表示该榜单正遭遇 MTEB 多年来的老问题：被针对性训练（in-domain）的模型污染。
- 他们原本用严格的数据过滤流程避免评测数据泄漏，并刻意排除任何与目标 benchmark 同域的训练集，以检验泛化能力——因此模型在各种任务（包括没见过的）上都得分很高。
- 但当别人把模型做成 in-domain 后，对比就不公平了：out-of-domain 模型很难打赢 in-domain 模型，而多数人只看榜首分数，不管背后藏着什么。MTEB 正因被当作刷分目标而失去选型参考价值。
- 作者宣布：今后很可能也让自家模型做 in-domain 以便竞争，但会非常克制、不伤害其他未评测能力，并明确公开这一点。
所属事件:Decision Index 榜单作者坦承重蹈 MTEB 刷榜覆辙(3 条相关)→
「模型」频道最新
- Alexandr Wang称Muse Wonder主打自然沟通:为所有人造模型 — alexandr_wang · 2026-10-13
- 用户吐槽:Opus 5.5 用久了也变「敷衍」,需要人反复兜底 — audrow · 2026-10-13
- Hub 新品类「决策模型」走红:不要文字,要能写进 if 语句的数字 — erhannah · 2026-10-13
- 实测 Muse Wonder 生成讲解视频：效果粗糙，旁白全是澳式口音 — danshipper · 2026-10-13
- 头部模型份额暴跌:十大模型token占比从55%跌至14% — GaryMarcus · 2026-10-13
- 用户反馈 DeepSeek V4.1 静默更新后编辑失败率极高 — teortaxesTex · 2026-10-13