网友拆解决策模型榜单：AUC 相同下先验校准即可推高准确率排名

antoine_chaffin · x · 2026-10-23

@singularitybly 发文称自己用远少于头部实验室的资源，训练出 Hugging Face 官方严格榜单上的世界第一「决策模型」（Jev Decision Index），并写了技术报告，认为团队把推理蒸馏进了模型，这在知识类任务的表现上可见。

@antoinechaffin 引用并点评了两点：一是认可蒸馏推理的路线更接近「非生成式判别器」哲学；二是指出榜单上许多指标大幅摆动的任务（如 ACOS）其实并非模型优劣所致——AUC 几乎相同，差异主要来自模型对 yes/no 比例的先验改变了 0.5 阈值下的准确率；把所有问题一起打分改变了校准才推高了默认阈值下的成绩。他主张看分布级指标而非匹配基准的先验比例。