MBZUAI 研究员坦承 Decision Index 榜单正重蹈 MTEB 过拟合覆辙
ihor_step · x · 2026-10-13
MBZUAI 研究员 Antoine Chaffin 发帖称，其团队的 decision index 榜单正面临 MTEB 多年来的老问题——训练数据向评测集泄漏导致分数虚高，提醒对榜单上的大跳升保持怀疑。他解释团队本已做了严格的数据过滤管线以避免 eval 数据泄漏，并刻意排除了可能使其「在域内」的训练集。网友 ihorstep 回复称在多个真实私有项目上实测该模型确实属顶尖，并指出这折射出行业乃至社会的通病：对「在榜单上被标记为更优」的兴趣超过解决真实问题，向领域基准过拟合会扼杀创新、阻碍更通用模型的发展。