MuSID-KD 论文：按排序影响加权蒸馏，提升语义 ID 生成式推荐
_reachsumit · x · 2026-10-28
arXiv 论文 MuSID-KD 针对语义 ID（SID）生成式推荐的蒸馏问题提出改进。SID 把物品表示为离散 token 序列并自回归预测，但多位置解码带来高推理成本，传统蒸馏目标未充分适配多 token 生成。论文指出两个局限：物品级分布对齐难以保留教师对共享 SID 前缀候选组的排序；对 SID 各位置均匀对齐会忽视对最终排序的不同影响。方法包含两部分：
- HCDA（分层候选分布对齐）：按共享 SID 前缀聚合物品概率，从候选组到单个物品逐层对齐分布；
- RIGD（排序影响引导的逐层蒸馏）：衡量用教师贡献替换学生分数贡献后成对排序代理损失的下降，据此分配监督权重。
在多个真实推荐数据集、三种轻量学生架构上的实验显示推荐精度提升且推理更高效。
所属事件:MuSID-KD 论文：知识蒸馏改进语义 ID 生成式推荐(2 条相关)→
「研究」频道最新
- 斯坦福 SALT Lab 推出 TaskNet:追踪 AI 时代工作任务演化 — Diyi_Yang · 2026-10-28
- 用贝叶斯算 P=NP：似然比 10:1 倒向等式成立 — jessi_cata · 2026-10-28
- Karpathy GitHub 免费学习路线走红：从 micrograd 到 nanochat 六步吃透 LLM — lmoroney · 2026-10-28
- AI 科学 vs 人类科学：从 Thurston 数学观重思 AI 如何做研究 — hugo_larochelle · 2026-10-28
- 顶级计量经济学家发论文:讲我们的 LLM 如何写出这篇论文 — lihua_lei_stat · 2026-10-28
- 发布 10 个月后前沿模型 SpatialBench 逼近 75%，GPT-6.1 Terra 创新高 — kenbwork · 2026-10-28