From Interests to Semantic IDs: Retrieval-Grounded Credit Assignment for Generative Recommendation
Mengdan Zhu, Yufan Zhao, Yao Zhao, Sophie Di, Tao Di, Yulan Yan, Sridhar Iyer, Liang Zhao
cs.IR, cs.AI
2026-09-24
微软与Emory把每条兴趣假设丢进冻住检索器,只给真正召回目标的那一行正优势。Video Games上Recall@10从0.0856升到0.1195,相对仅用SID加格式奖励的对照高39.6%。
生成式推荐把每个商品编成短 Semantic ID(SID),让语言模型像写词一样自回归吐出下一项。带推理的变体先写一段文本轨迹,再用束搜索解出 SID。训练常用 group-relative 策略优化,奖励是 SID 是否精确命中。大目录里这个奖励极稀疏。
两个失败模式跟着来。一组 rollout 全没打中目标,组内优势为零,什么都学不到。若干条轨迹 SID 奖励相同,文本再不同也拿同一份优势。奖励只看见解出来的 SID,看不见写出 SID 的那串兴趣假设。信用分配在轨迹这一段是断的。
轨迹被写成固定格式:一段历史摘要,若干条「未来兴趣」假设,最后跟一个合法 SID。冻住的目录检索器把每条假设当查询执行。整条轨迹的检索奖励是「任一查询在 top-K 内召回目标」;同时保留每条查询自己的命中标记。
Group-relative 优化对三种奖励分别做组内标准化:格式是否合法、兴趣是否召回目标、SID 是否精确匹配。检索优势只打到兴趣行上:命中的行平分正优势,全组未覆盖时负优势平摊到所有解析出的兴趣行。最终 SID 跨度永远不吃检索通道的梯度。SID 解码本身仍用目录前缀 trie 约束,保证吐出的是合法商品。
训练分三阶段,骨干是 Qwen3-1.7B,SID 来自固定的三层 RQ-VAE(每层 256 码本)。Stage 1 对齐 SID 与文本,Stage 2 用 GPT-4o 教结构化轨迹,Stage 3 做上述 RL。默认 K=50,检索器用冻住的 Qwen3-Embedding-4B,每组 16 条轨迹。推理时兴趣查询还能组成辅助召回池,可选地收窄 SID 束搜索的候选 trie。
Amazon Reviews 三个品类,目录约束束搜索、无采样负例:
| 设置 | Video Games R@10 / N@10 | Office R@10 / N@10 | Industrial R@10 / N@10 |
| SIDReasoner | 0.1031 / 0.0563 | 0.1648 / 0.1208 | 0.1438 / 0.1010 |
| Stage-3 SID+格式对照 | 0.0856 / 0.0493 | 0.1512 / 0.1124 | 0.1387 / 0.0953 |
| 查询归因检索奖励(本方法) | 0.1195 / 0.0796 | 0.1765 / 0.1332 | 0.1602 / 0.1144 |
相对 SID+格式对照,三域 Recall@10 相对提升 15.5%-39.6%,NDCG@10 提升 18.5%-61.5%。只加 SID 精确匹配或格式奖励,成绩几乎停在 Stage-2 SFT。12 项指标全部第一。
训练日志里,69.1%-80.8% 的组 SID 奖励是常数,组内无优势。检索通道能重新激活其中很大一块:最后窗口的再激活率在 Games/Office/Industrial 分别为 37.8%、37.7%、19.6%。把检索优势广播到整段回复或整块兴趣,都不如按命中查询路由。相对整块路由,命中路由在 Games 上 Recall@10 / NDCG@10 再高 11.4% 和 30.5%。
兴趣召回与 SID 命中只是部分重叠:SID 没进 top-10 的目标里,仍有 25.91% 被某条兴趣在 top-50 召回。Oracle 选出与目标相关的那条兴趣再约束 SID 解码,Recall@10 可到 14.93%,高于全局 SID 解码的 11.95%。随机挑一条兴趣会明显变差。
推理推荐如果还用「最后 SID 对不对」当唯一奖励,中间那几行兴趣假设基本在空转。这篇把兴趣变成可执行查询,用冻住检索器当过程监督,不必另训过程奖励模型。对已经在走 SID + GRPO 的团队,改动集中在奖励路由,解码接口可以不动。辅助召回池是顺带产物,但 oracle 结果表明「选对哪条兴趣」仍是未解开的一环。
实验目录只有数千 SKU、用户历史截到 10 条,和工业目录差一个数量级。奖励检索器和评测兴趣召回是同一套 Qwen3-Embedding,Interest Recall 的增益不能当成独立泛化。Stage-2 轨迹由 GPT-4o 看见了下一项元数据才写出来,教师泄漏的风险没有单独拆开。候选约束 SID 解码的上限来自 oracle 选兴趣,论文自己说无目标时如何选兴趣仍是未来工作。生成轨迹被优化成检索有用,不能当成对用户的忠实解释。