ResTD 论文:把索引时被丢弃的残差轨迹蒸馏回检索训练
_reachsumit · x · 2026-10-01
arXiv 新论文提出 ResTD(Residual Trajectory Distillation)框架,解决生成式检索中的信息浪费问题。
- 背景生成式检索用残差量化(RQ)构建 Semantic ID(SID),但标准检索训练只监督最终选中的码字,构建索引过程中产生的残差轨迹信息被丢弃;同一硬码可能来自不同码字偏好,硬监督把这些差异抹平。
- 方法将冻结的 RQ 索引器视为过程教师,把残差诱导的码字偏好蒸馏进 SID 解码状态,使解码器在生成 SID 后缀前就能捕获后续量化决策的信息。
- 关键优势:不改变检索索引和推理流程,即可把 SID 构建时更丰富的信息纳入训练。
- 实验在多语言电商检索上取得一致提升。
「研究」频道最新
- CMU 发布 CUA-SWE：让计算机使用 Agent 做可视化软件工程 — CarnegieMellonU · 2026-10-01
- 新论文：主成分回归在所有问题上胜过最小二乘等谱滤波法 — kfountou · 2026-10-01
- MIT 推出 xvr：5 分钟建模，X 光秒级对齐 3D 扫描助手术导航 — MacrinePhD · 2026-10-01
- UniMate 单一模型统一驱动多骨架动画，入选 SIGGRAPH Asia 2026 — Friedrich-M · 2026-10-01
- 时间序列基础模型教程与综述论文发布，覆盖研究全貌 — PtrPomorski · 2026-10-01
- ICLR 2027 拟设 AI-Sci 工作坊，征集各领域科学家参与 — asusarla · 2026-10-01