Residual Trajectory Distillation for Generative Retrieval
Weihao Shen, Wei Chen, Fuwei Zhang, Guojun Liu, Qingsong Hua, Wei Lin, Fuzhen Zhuang
cs.IR
2026-09-30
把 RQ 索引阶段被丢弃的残差轨迹蒸馏进生成式检索训练,ESCI 三语言 15 项指标全部第一,推理零开销。
生成式检索(generative retrieval)把检索变成序列生成:给定 query,模型自回归地「写出」目标商品的 Semantic ID(SID,语义 ID)。主流方案用残差量化(residual quantization,RQ)构建 SID,每级码书里选一个最近码字,把剩余残差交给下一级,TIGER 一系工作都是这个路数。
训练检索器时,监督信号只有最终那串被选中的码。argmin 这一步把信息压扁了:两个物品可以落到同一个码字,但残差到其他候选码字的距离排序、差距完全不同;当前残差还决定下一级量化的输入,整条残差轨迹包含后续各级的选择倾向。索引阶段这些信息本来就在手边,训练时被整个丢掉。论文称之为 indexing 与 retrieval training 之间的信息差。
ResTD 把冻结的 RQ 索引器当成「过程教师」,索引本身不动。
辅助损失经线性 warmup 加入,并被限制在 SID 主损失的 5% 以内。推理时教师和投影头全部拆掉,索引、解码分布、trie 约束束搜索(beam 100)都不变。
ESCI 商品检索,英/西/日三个语言,T5-base 与 mT5-base,4 级 RQ、每级 256 码字:
| 设置 | 指标 | 最强基线 CaLIR | ResTD |
| ESCI-US | Recall@5 | 7.50 | 9.28(相对 +23.7%) |
| ESCI-US | Recall@10 | 12.69 | 14.34(+13.0%) |
| ESCI-US | NDCG@10 | 11.12 | 12.99(+16.8%) |
| ESCI-JP | Recall@5 | 6.05 | 7.61(+25.8%) |
| ESCI-ES | NDCG@10 | 12.43 | 14.22(+14.4%) |
三个语言共 15 项指标全部第一,对手包括 BM25、BGE-M3、TIGER、MERGE、HGRec 等。增益集中在前排,Recall@100 的相对增益缩到 3.6%–6.4%。
比主表更有说服力的是匹配预算的受控实验(同一个 CaLIR 复现起点、1200 步、3 个配对种子):继续普通训练 R@10 到 12.82,只加当前级蒸馏到 13.23,加满多视野到 14.34。把未来软目标换成未来硬标签,掉到 13.56;只用码书距离构造软目标,13.48;把教师随机打乱,12.86,和什么都不加基本一样。这组对照基本排除了「加个软目标都有用」的解释。探针实验进一步显示,未来码字偏好从早期 decoder 状态里的可恢复性提高 5.3%–13.8%,当前级目标只有 0.1%–0.3%,多视野监督确实把未来信息压进了早期状态。
迁移性也有数据:NQ320K 上未见查询的 Recall@10 是 4.79,CaLIR 只有 0.51;接到 TIGER 推荐上,Yelp Recall@10 到 4.87(ETEGRec 4.15),Beauty 到 7.28(最强基线 6.15)。训练开销:单步时间 1.12 倍,峰值显存多 31.8 MB,预计算残差轨迹占 0.09 GB,推理零开销。
对已经在跑 RQ 类生成式检索或推荐的团队,这是一个低风险、训练侧的改动:部署的索引和解码器都不动,加几个投影头和一项辅助损失就行,监督信号本来就在索引过程里白算了出来。方法不绑定具体检索器,CaLIR 和 TIGER 两种 backbone 都验证过。属于渐进式改进,但对照实验做得扎实,「残差偏好优于硬标签、优于纯码书距离」这个结论对后续 SID 训练设计有直接参考价值。