When Does Dense Retrieval Need Asymmetric Geometry? A Bias-Variance Theory of Shared and Dual Projections
Maojun Sun, Yancheng Yuan, Jian Huang, Ruijian Han
cs.IR, cs.LG
2026-09-26
给冻结向量的 Shared 与 Dual 投影划偏差-方差边界：方向信号平方盖过额外自由度时 Dual 更优。n=32 Shared 赢 13/16，n≥1024 Dual 全胜；CARS 选几何准确率 90.1%，regret 降 49-96%。
Dense retrieval 把 query 和 document 编成向量再做内积。适配冻结 embedding 时有两条路。Shared 对两边用同一张秩 r 投影 P，打分算子 M=P⊤P 只能是半正定；Dual 给 query 和 document 各学一张投影，M=A⊤B 可以是任意秩不超过 r 的矩阵，连对称都不必。
灵活性降低逼近偏差，也多出一批方向去拟合噪声。度量学习和 dual encoder 文献分别研究过这两族打分，缺的是有限样本判据：方向信号要强到什么程度，才付得起 Dual 多出来的估计误差。这篇把问题写成低秩双线性打分的偏差-方差边界。
把 query、正例、负例的打分差写成 Frobenius 内积 ⟨M, XD⊤⟩。两个约束族：Shared 是对称 PSD 且秩 ≤ r，Dual 是所有秩 ≤ r 的矩阵。Theorem 1 给出 Shared 最近逼近的精确误差，三项相加：反对称能量、负特征值、被丢掉的正特征值。再减去 Dual 的奇异值尾巴，就是精确逼近差距。
有限样本下 Dual 会在多出来的方向上拟合噪声。他们在一个 rank-r Shared 算子附近做局部高斯实验：观测等于目标加上尺度为 σ/√n 的各向同性噪声，方向偏离同样是 1/√n 量级，逼近收益和估计代价才能放在同一量级比较。切空间维数差出 Dual 独有的 k=r(2p−r−1)/2 个方向。k 拆成两块：活跃 r 维子空间里的反对称扰动 r(r−1)/2，以及左右跨子空间扰动可以不同的 r(p−r)。Corollary 1 说，Dual 局部风险更低当且仅当这些方向上的信号平方 δ² 超过 σ²k。多出来的自由度要抓到足够强、可重复的方向差，否则 Shared 更稳。
经验不对称会被噪声抬高。高斯模型里用 SURE 纠偏，选 Dual 的条件是观测到的 Dual-only 能量大于 2σ²k；没有方向信号时，误选 Dual 的概率不超过 (2/e)^{k/2}。真实 embedding 不知道总体几何和噪声方差，于是改用 CARS：训练对随机切成两半，看 Dual 相对 Shared 的拟合差在两半上是否重复，再用两半分歧给采样方差定价。这个分数的期望对应 (δ²−σ²k)/n，和局部边界是同一比较。
四套冻结编码器：E5-base-v2、BGE-base、GTE-base、Contriever-MSMARCO。检索指标是全库精确内积搜索的 test NDCG@10。
受控双视图模拟里，理论交叉对得上。rank-8 网格中，0.8 弧度旋转要到 n=256 才出现正的 Dual 均值优势，1.2 弧度在 n=64 就转正。局部高斯校准中，Theorem 2 的风险极限对上仿真，误差在 0.25% 以内；SURE 选择概率误差在 0.001 以内。
真实 embedding 上只旋转 query，document 和相关性标签不动。五个数据集平均，Dual 减 Shared 的 NDCG@10 从 0° 约 0.0032 升到 90° 约 0.0146，扩大 4.6 倍。MS MARCO 上这个差距从约 −0.0008 变成 +0.0219。摘要写「超过翻倍」，正文数字是 4.6 倍。
| 设置 | 对照 | 结果 |
| n=32，16 个格子 | Shared vs Dual | Shared 赢 13/16 |
| n=1024 与 2048 | Shared vs Dual | Dual 赢全部 32 格 |
| 查询旋转 0°→90° | Dual-Shared NDCG@10 | 0.0032 → 0.0146 |
| 168 条算子风险曲线 | 随训练 query 增多 | 全部偏向 Dual |
| CARS vs 固定几何 | held-out regret | 降 49-96% |
| CARS 选几何 | 准确率 / 外折胜利 | 90.1% / 85/100 |
rank 从 4 加到 32，两边绝对 NDCG@10 几乎不动：Shared 从 0.7242 到 0.7257，Dual 从 0.7282 到 0.7289，相对优势也没有被放大。容量几乎不动这条边界，样本量才会翻转胜负。
CARS 只用训练数据选几何。相对更好的那条固定规则，四个编码器上 held-out regret 都下降；100 个 encoder-fold 里赢 85 场。Always Dual 在 MS MARCO、BGE-base 上 regret 到 9.51，Always Shared 在 FEVER、Contriever 上到 0.496。锁死一种几何，会在错的数据集上付大账。
这不是 retriever 刷榜论文。它给「query 和 document 要不要分开投影」一条可计算的切换条件：方向不匹配强、训练对够多，Dual 才划算；小样本默认 Shared 更稳。在冻结 BGE/E5 上加低秩 adapter、做 RAG 检索头的人，可以按训练规模选几何，或把 CARS 当验证集之前的预选器。
更实际的一点：rank 从 4 加到 32 几乎买不到 NDCG，加标注 query 会翻转胜负。钱更该花在样本上，不该花在把 adapter 加宽。
边界绑在双线性内积打分和局部高斯噪声上。线上若改用 cosine，或噪声明显各向异性，公式不能当黑盒套。
作者写了三条。精确风险边界假定局部、各向同性的高斯算子噪声；还没做到各向异性噪声，也还没直接对准 NDCG 这类排序指标。部分共享（只放行一部分方向非对称）列为后续。
CARS 的 90.1% 准确率是在 held-out 算子的 Frobenius 损失上算的，不是在全库 NDCG 上选几何。Table 1 和全库检索图是两套协议，论文没有证明 CARS 选中的几何就是 NDCG 更高的那个。
查询旋转是人为干预：在相关性知情的平面里把 query 转到 90°，用来放大 cross-view mismatch。真实域偏移会不会走出同一条曲线，没有非干预对照。绝对 NDCG 差距多数在千分之三到百分之一点五，全库可测，够不够业务感知，论文没给。
附录还指出识别问题：同一个双线性算子 M=A⊤B 可以对应完全不同的投影范数，cosine 排序甚至能反转。算子层结论绑在双线性打分上，线上若用 cosine，理论不能直接搬。