新研究揭示检索模型「按答案检索」偏差：偏好已知答案而非正确关系
_reachsumit · x · 2026-11-11
arXiv 论文《Search-by-Answer Bias in Retrieval Models》(Avigad、Ravfogel、Goldberg) 发现稠密检索器存在「search-by-answer bias」：它们偏好包含 backbone 模型已知道的答案对象的段落，即使该段落表达的是错误关系，也会排在没有该答案但支持其他有效答案的段落之前。
- 实验基于 LAMA/TREx 构造受控事实对比，用 token 预测头衡量模型对「标准答案 vs 替代答案」的打分
- 覆盖 DPR、Spider 变体、Contriever、E5、Qwen3-Embedding 等 8 个检索器，打分均一致预测段落排序
- 说明稠密检索在选择证据时会被模型先验知识左右，对 RAG 的证据多样性有实际影响
「研究」频道最新
- Grokking 新研究：泛化涌现源于内部结构的自发简化与坍缩 — burny_tech · 2026-11-11
- TRIAD 基准发布:多模态检索在层级、约束与多轮状态上全军覆没 — _reachsumit · 2026-11-11
- 新论文揭示 VLM 模态鸿沟根源：文本 token 语义密度远低于视觉 — _reachsumit · 2026-11-11
- 字节跳动发布 SepLRM:共享 KV 缓存重构推荐基础模型范式 — _reachsumit · 2026-11-11
- Yuanbao-Reranker 发布 0.6B/4B/8B 三档重排器,基于 Qwen3 合成数据训练 — _reachsumit · 2026-11-11
- Shopify RoutingTrie:把元数据过滤前置到生成式检索解码,Hit@100 提升 28.6 个百分点 — _reachsumit · 2026-11-11