诊断发现：稠密检索器听不懂指令的方向反转
_reachsumit · x · 2026-11-13
新论文 When Direction Matters 揭示稠密检索器指令遵循的一个具体弱点：当词汇或属性线索可区分目标时表现良好，但当相关性取决于同一对实体上的方向性关系时明显不可靠。
作者提出诊断基准 SwitchIR，对比三种设置：约束替换（Constraint Shift）、显式过滤（Explicit Filtering）与关系翻转（Relational Flip）——查询与文档对不变，只反转请求的关系方向。
主要发现：
- 代表性嵌入模型与后期交互检索器在两种有线索的对照上得分高，在 Relational Flip 上一致偏低；LLM 辅助、人工审核的真实场景变体中排序一致
- 精确的 margin 分解显示：只有当方向敏感的查询-文档交互超过方向不变的偏好时两个方向才能都答对；实证发现方向敏感变化常见，但其对齐交互通常太弱
- 诊断性微调表明模型可学到跨关系族泛化的关系行为，规模更大的模型泛化更强
「研究」频道最新
- RAAIS 2027 定档伦敦：Odyssey 世界模型与 DeepMind 开放性团队登台 — nathanbenaich · 2026-11-13
- ETH Zurich 研究员访 Mila 演讲：高效评估的理论与实践 — zouharvi · 2026-11-13
- 研究：非洲 51% 的 AI 融资流向算力基建，应用层初创少融 57% — Afinetheorem · 2026-11-13
- MBZUAI 开源世界模型 PAN 2：输入动作即可模拟物理世界走向 — LinusEkenstam · 2026-11-13
- 2008 年研究:56-68% 文件检索靠导航,搜索只占 4-15% — dSebastien · 2026-11-13
- 运行 40 年、2500 万条规则：被遗忘的常识推理项目 Cyc — ArtificialOther · 2026-11-13