论文实证：0.6B-9B 规模上 reranker 微调全面胜过决策模型 5-29 分
kalyan_kpl · x · 2026-10-26
Passau 大学等机构的论文《System One Models Are Not Better Rerankers》系统对比了「决策模型」（输出校准概率而非生成文本）与传统 reranker 微调的检索重排效果。
实验设置：使用 0.6B 到 27B 的六个 Qwen backbone，在 TREC DL 2019-2023 与五个 BEIR 集合上，对比未微调零样本模型、decision fine-tune 与 reranker fine-tune（含 Qwen3-Reranker、Prism 及自训两个），候选统一为 BM25 top-100。
关键结论：
- 0.6B 到 9B 区间，reranker 微调在每个 backbone 上都以 5-29 分 nDCG@10 领先，零样本集合上同样成立；27B 时两者打平。
- 9B 以下，decision 微调相比直接零样本提问没有任何增益；其校准优势依赖问题形式——被问「该段落是否回答 query」时从 4B 起比公开 reranker 校准更好，其他问法则不然。
结论是「System One 式」概率输出并不天然更适合重排，规模与微调方式才是关键。
所属事件:论文实测：决策模型做重排序不敌直接微调 Reranker(2 条相关)→
「研究」频道最新
- INCLUDE-2.0 发布:91 种语言 86 国本地考题检验模型地域知识 — ABosselut · 2026-10-26
- DecisionPivot：4 万条目基准揭示单题准确率掩盖智能体决策差距 — RexDouglass · 2026-10-26
- 图解四条 TTS 数据清洗流水线:Fish Audio、Emilia、CosyVoice、NeMo 各有侧重 — solyarisoftware · 2026-10-26
- 研究者驳论文结论:OOD 无困惑度模型重排并不差,是评测基准坏了 — antoine_chaffin · 2026-10-26
- Motubrain 2.0 半个月直播 Physical AI 模型从训练到自我改进全程 — jiqizhixin · 2026-10-26
- Camellia 基准发布:覆盖 9 种亚洲语言测量 LLM 文化偏见 — Tanmoy_Chak · 2026-10-26