束宽 20 胜过 200,阿里 ReSID 让生成式推荐找回长尾

ReSID: Rethinking Long-Tail Retrieval in Generative Recommendation through Item Reachability

Muyu Zou, Shunye Tang, Yi Xu, Haibo Xing, Yandong Wang, Lingyu Mu, Jinxin Hu

cs.IR

2026-11-12

阿里 ReSID 用并行 SID 加容错匹配,以十分之一束宽把长尾 R@200 从 18.94 提到 36.62,线上广告收入 +1.3%,已全量上线。

这篇在解决什么

生成式推荐(GR)把检索改写成序列生成:商品先离线编码成一串离散 token,即 Semantic ID(SID),线上由自回归模型逐步生成,再拿完整序列去商品库精确匹配。这条流水线头部运转良好,长尾塌掉:论文的内部数据里,长尾商品占目录一半以上,训练交互只分到 20-22%。

此前的长尾 GR 研究集中在训练侧:CRAB 拆分过热码,Ghost 用 unlikelihood 让长尾继承头部前缀。表征改了,推理管线没动,依旧是标准 beam search(每步只留得分最高的 B 条前缀)加全序列精确匹配。论文问的是更前置的问题:模型学到的长尾信号,能不能活着走到最终召回?

基本不能。beam 20 下解码走两步,62.5% 的长尾目标已被挤出 beam,六步走完 90.2% 彻底丢失,头部同口径 58.7%。放宽到「beam 里还剩一条三处错码内可补全的前缀」,第 4 步也有一半长尾无解。论文称之为 long-tail reachability 瓶颈。

方法

ReSID 改了管线的三个环节。

论文自己的分析给出量化依据:容忍 1-3 位错码,长尾可达率从 9.75% 升到 41.56%,头部是 59.77%;三分之一的未命中长尾,其 SID 至少一半 token 与某条解码序列一致。但可恢复的前缀早被上游剪光,引导解码与容错匹配必须成对出现。

结果

设置指标结果
In-house长尾 R@20036.62(Ghost 18.94)
In-house整体 R@20048.28(TIGER 37.65)
两个公开集长尾 Recall / NDCG平均超 Ghost 41.2% / 36.6%
线上 A/B(各 15% 流量,12 天)广告收入 / CTR / GMV+1.3% / +1.1% / +0.8%
线上 A/B长尾曝光占比+4.0%

束宽是另一条线索:公开集上 ReSID 用 20、基线全部用 200,In-house 上 100 对 300。端到端时延只有基线的 1/2 到 1/8,吞吐高 3.7-16.7 倍,线上平均响应 10.3 ms。

消融把主要增益钉在部分匹配上:去掉它,Office 长尾 R@200 掉 66.1%,长尾曝光覆盖从 99.31% 跌到 63.73%;去掉流行度校准或用户语义,长尾 R@200 分别降 8.7% 与 6.2%;换回串行 SID 降 17.3%。机制上,Industrial 上 51.26% 的长尾命中完全依赖部分匹配,Office 是 66.09%。超参不敏感,r=3 之后饱和。

为什么重要

对工业推荐工程师,这篇的价值有两层。一是诊断方法:把「GR 为什么丢长尾」拆成 SID 结构、解码剪枝、匹配规则三个可单独测量的环节,配了仪器化的定位手段;不搬整套框架,「并行 SID 优于串行」「容错匹配能救回大量长尾」两个发现也能单独取用。二是工程经济性:长尾召回通常靠加宽 beam 买,这里用十分之一束宽拿到更好的长尾结果,时延吞吐同时改善,对预算紧的广告系统是硬通货。系统已全量上线,代码与 checkpoint 开源。

组件本身不新,流行度去偏是 logit adjustment 的推理时变体。贡献在于按系统分析的结论把已知工具装到正确位置,再用线上收益验证装配成立。

局限与存疑

论文没有独立的局限章节,以下从数据里读出:

术语

原文与代码

社区讨论

相关论文

全部论文解读