SLIDE 蒸馏框架让生成式检索一次贪心解码生成完整 Top-K 排序列表
_reachsumit · x · 2026-10-28
生成式检索（GR）通常依赖 item 级 beam search 取候选，未建模跨 item 依赖，也难以直接优化列表级目标；直接训练列表式模型再用贪心解码则明显逊于 beam search。论文定位了两个原因：beam search 探索了更大搜索空间，以及稀缺正样本的位置偏置使靠后位置缺乏监督。
SLIDE 框架将离线搜索与在线列表生成解耦：教师模型通过离线 item 级 beam search 检索高质量候选，按 beam 分数顺序拼接其 Semantic ID（SID）形成列表级蒸馏目标，学生模型据此在单次贪心解码中生成完整 Top-K 列表，同时实现教师模型 scaling 的解耦。
「研究」频道最新
- 普渡大学推出无GPS无人机:片上激光雷达穿越密林追踪目标 — DavidSKrueger · 2026-10-28
- 研究者推出「AI间道德」实证研究议程，聚焦AI如何感知与对待彼此 — dioscuri · 2026-10-28
- T-DIG 政策可零样本迁移：让 GPT Image 2 与 Gemini 出图更多样 — simi_97k · 2026-10-28
- Cohere Labs 10 月 28 日办 RL 与机器人学习研究会,Lila 与 PI 科学家主讲 — tw_killian · 2026-10-28
- T-DIG 训练中的 reward hacking：只用多样性奖励会生成空白图 — simi_97k · 2026-10-28
- T-DIG 数据集披露：从 HPD V2 过滤 2 万条提示词合成变化轴 — simi_97k · 2026-10-28