论文实测：决策模型并不比微调 Reranker 更会重排
omarsar0 · x · 2026-10-28
一篇帕绍大学等机构的论文《System One Models Are Not Better Rerankers》在受控实验中检验了近期热议的决策模型（decision models，如 Jev、Key、Clef）能否取代传统重排器。
- 实验设置：同一 Qwen 骨干、同一批 BM25 top-100 候选，覆盖 10 个数据集（5 个 TREC DL 2019-2023 + 5 个 BEIR），对比三种版本：零样本未调优模型、决策微调版、普通 reranker 微调版，骨干规模 0.6B 到 27B 共 6 个。
- 核心结论：0.6B–9B 区间，reranker 微调在所有骨干上比决策微调高 5–29 分 nDCG@10；27B 时两者打平——决策微调相对零样本毫无增益。所谓校准优势也依赖问法：换一种提问方式优势即消失。
- 建议：作者的实用结论是"需要重排器就微调重排器"；换用通用决策模型前，先在自己的查询上跑对比实验。
所属事件:论文实测：决策模型微调后仍不敌专用 Reranker(4 条相关)→
「研究」频道最新
- 普渡大学推出无GPS无人机:片上激光雷达穿越密林追踪目标 — DavidSKrueger · 2026-10-28
- 研究者推出「AI间道德」实证研究议程，聚焦AI如何感知与对待彼此 — dioscuri · 2026-10-28
- T-DIG 政策可零样本迁移：让 GPT Image 2 与 Gemini 出图更多样 — simi_97k · 2026-10-28
- Cohere Labs 10 月 28 日办 RL 与机器人学习研究会,Lila 与 PI 科学家主讲 — tw_killian · 2026-10-28
- T-DIG 训练中的 reward hacking：只用多样性奖励会生成空白图 — simi_97k · 2026-10-28
- T-DIG 数据集披露：从 HPD V2 过滤 2 万条提示词合成变化轴 — simi_97k · 2026-10-28