ReSID: Rethinking Long-Tail Retrieval in Generative Recommendation through Item Reachability
Muyu Zou, Shunye Tang, Yi Xu, Haibo Xing, Yandong Wang, Lingyu Mu, Jinxin Hu
cs.IR
2026-11-12
阿里 ReSID 用并行 SID 加容错匹配,以十分之一束宽把长尾 R@200 从 18.94 提到 36.62,线上广告收入 +1.3%,已全量上线。
生成式推荐(GR)把检索改写成序列生成:商品先离线编码成一串离散 token,即 Semantic ID(SID),线上由自回归模型逐步生成,再拿完整序列去商品库精确匹配。这条流水线头部运转良好,长尾塌掉:论文的内部数据里,长尾商品占目录一半以上,训练交互只分到 20-22%。
此前的长尾 GR 研究集中在训练侧:CRAB 拆分过热码,Ghost 用 unlikelihood 让长尾继承头部前缀。表征改了,推理管线没动,依旧是标准 beam search(每步只留得分最高的 B 条前缀)加全序列精确匹配。论文问的是更前置的问题:模型学到的长尾信号,能不能活着走到最终召回?
基本不能。beam 20 下解码走两步,62.5% 的长尾目标已被挤出 beam,六步走完 90.2% 彻底丢失,头部同口径 58.7%。放宽到「beam 里还剩一条三处错码内可补全的前缀」,第 4 步也有一半长尾无解。论文称之为 long-tail reachability 瓶颈。
ReSID 改了管线的三个环节。
论文自己的分析给出量化依据:容忍 1-3 位错码,长尾可达率从 9.75% 升到 41.56%,头部是 59.77%;三分之一的未命中长尾,其 SID 至少一半 token 与某条解码序列一致。但可恢复的前缀早被上游剪光,引导解码与容错匹配必须成对出现。
| 设置 | 指标 | 结果 |
| In-house | 长尾 R@200 | 36.62(Ghost 18.94) |
| In-house | 整体 R@200 | 48.28(TIGER 37.65) |
| 两个公开集 | 长尾 Recall / NDCG | 平均超 Ghost 41.2% / 36.6% |
| 线上 A/B(各 15% 流量,12 天) | 广告收入 / CTR / GMV | +1.3% / +1.1% / +0.8% |
| 线上 A/B | 长尾曝光占比 | +4.0% |
束宽是另一条线索:公开集上 ReSID 用 20、基线全部用 200,In-house 上 100 对 300。端到端时延只有基线的 1/2 到 1/8,吞吐高 3.7-16.7 倍,线上平均响应 10.3 ms。
消融把主要增益钉在部分匹配上:去掉它,Office 长尾 R@200 掉 66.1%,长尾曝光覆盖从 99.31% 跌到 63.73%;去掉流行度校准或用户语义,长尾 R@200 分别降 8.7% 与 6.2%;换回串行 SID 降 17.3%。机制上,Industrial 上 51.26% 的长尾命中完全依赖部分匹配,Office 是 66.09%。超参不敏感,r=3 之后饱和。
对工业推荐工程师,这篇的价值有两层。一是诊断方法:把「GR 为什么丢长尾」拆成 SID 结构、解码剪枝、匹配规则三个可单独测量的环节,配了仪器化的定位手段;不搬整套框架,「并行 SID 优于串行」「容错匹配能救回大量长尾」两个发现也能单独取用。二是工程经济性:长尾召回通常靠加宽 beam 买,这里用十分之一束宽拿到更好的长尾结果,时延吞吐同时改善,对预算紧的广告系统是硬通货。系统已全量上线,代码与 checkpoint 开源。
组件本身不新,流行度去偏是 logit adjustment 的推理时变体。贡献在于按系统分析的结论把已知工具装到正确位置,再用线上收益验证装配成立。
论文没有独立的局限章节,以下从数据里读出: