Decision Index 榜单作者坦承重蹈 MTEB 刷榜覆辙

MBZUAI 及 Hugging Face 研究员 Antoine Chaffin 发帖坦承，其团队的 Decision Index 榜单正遭遇 MTEB 多年来的老问题：训练数据向评测集泄漏、针对性 in-domain 训练导致分数虚高，榜单信号失真。他表示该榜单仍有参考价值，但对大幅跳升的分数应打折扣看待，提醒社区谨慎解读排行榜结果。

2026-10-13 ~ 2026-10-13 · 3 条相关

• Decision Index 沦为下一个 MTEB：作者亲述榜单被 in-domain 刷分污染 — antoine_chaffin · 2026-10-13
• HF 研究员承认决策指数重蹈 MTEB 刷榜覆辙,榜单信号失真 — antoine_chaffin · 2026-10-13
• MBZUAI 研究员坦承 Decision Index 榜单正重蹈 MTEB 过拟合覆辙 — ihor_step · 2026-10-13