研究者驳论文结论:OOD 无困惑度模型重排并不差,是评测基准坏了

antoine_chaffin · x · 2026-10-26

bclavie 引用一篇论文,指出其论证实际支持了与前提相反的结论:OOD 弱决策模型(不用 perplexity)在重排任务上几乎与专门调优的 pointwise ranker 一样好,之所以显得弱,是因为 Touché 等评测的 qrels(相关性判断)本身有问题,给了它们偏低的分数。antoinechaffin 补充:即使排除严重损坏的 qrels,只要在状态中正确定义被评测的相似度度量,连看似奇怪的重排任务也能被解决——他认为这是一个细想之下相当惊人的性质。