When Direction Matters: Diagnosing Relational Instruction Following in Dense Retrieval
Zhanyu Wu, Richong Zhang
cs.IR
2026-11-11
北航与中关村实验室用 SwitchIR 钉住查询和文档,只翻转关系方向。七个检索器在受控集上属性约束 FlipBoth 0.986,关系翻转 ContrastAll 0.015,真实文本仍只有 0.084。
指令检索声称,查询外再加一条自然语言条件,排序就会改。FollowIR、InstructIR 里,换受众、换属性、加否定,排名确实会动。这些题的文档往往词面不同,靠区分词就能分开。
「投诉导致改版」和「改版导致投诉」换的是角色。实体和内容词几乎不动,该排前面的文档对调。这种失败混在属性筛选的平均分里,看不出来。稠密检索已用于 RAG(检索增强生成)和对话搜索。方向一旦排错,总榜不会单独报出来。
SwitchIR 测成对偏好。每组固定一条查询和两篇硬负例(主题相近、容易排错的文档),只改指令,打平算错。候选只有这两篇,排除「文档没被找回」这种干扰。
PairAcc 是两锚点各自判对的平均,随机期望 0.5。FlipBoth 要求两相反锚点都对,随机期望 0.25。ContrastAll 要求两方向的全部表述都对,随机期望 0.0625,用作关系翻转的主指标。约束偏移每侧仅一条指令,联合分即 FlipBoth。
受控集模板锁词,700 组、2700 条指令;真实集由 LLM 改写,作者逐组核标签,140 组、520 条。分套报告。同组条件同一划分,避免泄漏。嵌入模型用余弦。BGE-M3-ColBERT 做后期交互,按 token 匹配后汇总。BM25 看词面。Qwen3 重排器把查询和文档一起打分。全部零样本。
关系翻转可精确分解,仅四个嵌入模型:Qwen3-Embedding 0.6B、4B、8B 和 GritLM。两侧边距是 b+r 与 r-b。b 是跟方向无关的文档偏好,r 是查询变化是否对准文档差别。两方向同时正确,条件是 r 大于 |b|。r 是查询反差、文档反差和夹角的乘积。
七个非重排神经检索器,受控平均为约束偏移 FlipBoth 0.986、显式过滤 ContrastAll 0.923、关系翻转 ContrastAll 0.015,最后一项低于随机 0.0625。关系翻转的 PairAcc 仍有 0.49 到 0.59,两个锚点都对的 FlipBoth 大约 0.14 到 0.27。
| 设置 | 约束偏移 FlipBoth | 显式过滤 ContrastAll | 关系翻转 ContrastAll |
| 七模型平均,受控 | 0.986 | 0.923 | 0.015 |
| 七模型平均,真实 | 0.943 | 0.679 | 0.084 |
| Promptriever,受控 | 1.000 | 1.000 | 0.000 |
| Qwen3-Rerank-4B,受控 | 1.000 | 1.000 | 0.292 |
| Qwen3-Rerank-4B,真实 | 1.000 | 1.000 | 0.470 |
| BM25,受控 | 1.000 | 0.000 | 0.000 |
| BM25,真实 | 0.000 | 0.000 | 0.000 |
真实集平均为 0.943、0.679、0.084。Promptriever 显式过滤满分,关系翻转是 0。Qwen3-Rerank-4B 真实集 0.470,距显式过滤满分差 0.53。BGE-M3-ColBERT 受控关系翻转只有 0.003。Qwen3-Embedding 0.6B、4B、8B 的受控 ContrastAll 为 0.003、0.000、0.020,放大嵌入模型没有补上。重排器从 0.6B 的 0.105 升到 4B 的 0.292。BM25 只在受控约束偏移上满分,词表配平后为 0,真实改写后约束偏移也是 0。非重排模型里,真实关系翻转最高是 GritLM 的 0.180。
FollowIR p-MRR 衡量全库排名随指令的移动。Promptriever 为 12.8,关系翻转却是 0;E5-Mistral 的 p-MRR 为 0.0,关系翻转为 0.045,嵌入模型中最高。两个诊断的名次相反。
四个嵌入模型每一格都是平均 |b| 大于平均 r。对齐且足够强的比例,受控 14.2% 到 25.5%,真实 13.5% 到 32.5%;对齐但不够强,受控 28.8% 到 36.9%,真实 45.5% 到 58.5%。每模型 1200 条受控、200 条真实观测。
微调结果下面用百分数。LoRA 只微调 Qwen3-Embedding 0.6B 与 4B,用受控数据和成对排序损失。单族训练,4B 本族受控平均 99.0%,跨族 28.1%,真实集 65.2% 与 26.4%。用五族 350 组训练并留出一族,4B 在未见族上为受控 92.5%(样本标准差 6.6)、真实 70.1%(样本标准差 3.9),0.6B 为 35.7% 与 13.5%。真实成绩从包含/层级 17.6% 到施事/受事 97.5%。
进 RAG 的指令里,很多是谁导致谁、谁先谁后、谁把信息给谁。属性题高分盖不住这些。FollowIR 与关系翻转的名次相反,按指令榜选型会漏检。
固定两篇文档的探针不用建库。零样本嵌入模型停在 0.015,排相反方向目前不可靠。4B 重排器真实分为 0.470。多族微调后,4B 能迁到未见关系,0.6B 的真实留出分只有 13.5%。失败条件可以写死:方向交互得强过对其中一篇的固有偏向。
论文的范围是方向性角色对调。嵌套约束、多跳关系和多条件纠缠没有覆盖。
候选始终是给定的两篇。全库中方向反了的文档未必进入前排。ContrastAll 接近零,外推到 nDCG 还没有依据。两篇若都进了上下文,错误会被直接读到,这篇没有做这个实验。分解只覆盖四个双编码器。微调只动 Qwen3 两个尺寸的 LoRA,真实集只当考卷。92.5% 来自受控模板,自然段落降到 70.1%,包含/层级只剩 17.6%。0.015 低于随机联合基线,来自稳定的文档偏好。换成长列表后这个机制是否还在,还没有测。