三层语义 ID 加 GRPO,小红书生成推荐广告价值涨 2.24%

RedMall: Generative Recommendation for Large-Scale E-commerce

Kunyang Zhou, Xin Jia, Yi Yang, Yongjun Yang, Manjie Xu, Honglei Zhang, Yan Zhu, Kai Zuo, Xu Tang, Zheng Wang

cs.IR

2026-10-26

小红书提出生成式推荐 RedMall,用三层残差量化语义 ID 表示商品,再以曝光未点击作负样本,并用 GRPO 与 LambdaRank 优化列表排序,线上广告价值涨 2.24%、GMV 涨 1.08%。

这篇在解决什么

电商商品库一大,GRU4Rec、SASRec、BERT4Rec 这种逐商品打分就变贵。生成式推荐改成先做语义 ID(semantic ID,SID),再按用户历史把下一个 SID 逐 token 生成出来。TIGER 用残差量化加自回归解码,把这条路跑通了。

工业召回还有四处对不齐。SID 后一层编码的是前一层残差,拉平就看不见层次;Tree-Transformer 用树形位置编码补结构,却挤占了原来的序列位置。next-token prediction 只盯下一个商品,会话要的是一列。点击里没有曝光未点。单条奖励也管不到列表内部的相对次序。

方法

RedMall 来自小红书,同济大学参与。

商品的文本、图像向量先投影,再由门控按商品混合。融合向量用行为序列上的下一商品预测做后训练,新商品仍保留内容特征。RQ-VAE 产出三层码,码本 8192、1024、128;码字用衰减 0.995 的滑动平均维护,使用率低于 0.2 就重置。

SID encoder 是编码器前的轻量插件:三层嵌入共享词表,沿层融合后映回各层,加进编码器。这样补上层次,又不用改序列位置编码。

解码器以 TIGER 为底,前馈改为 12 专家的稀疏 MoE,推理只开 2 个,约 0.5B 参数、0.1B 激活。编码器、解码器各 4 层。

多目标预测把序列末尾 5 个商品同时当作目标,每个目标单独前向,损失相加。训练信号从 1 个下一商品扩成 5 个。推理阶段仍用 beam search 组列表,不会在一次前向里直接吐出整表。

历史行为使用双向注意力,目标码保持因果;门控再调节注意力输出,合称双门控注意力。曝光损失取窗口 5 里曝光未点商品中最常见的第一层 SID 做负样本,只压低该前缀,正样本仍监督完整三层码。

GRPO 组大小 32。点击奖励看未来窗口 5,SID 按层命中,一层 1 分,满分 3;再加上 SIM 预测的 pCTR、pCVR,系数都是 1。SIM 由线上排序模型蒸馏而来。同一请求的候选另加 LambdaRank,系数 0.5,权重是交换二者对 NDCG 的影响。

一个 SID 挂多个商品。后验分 0.8 ln(1+GPM)+0.2 ln(1+OPM) 用来截断,每个 SID 留 40 个,避免配额被重复商品占满。GPM、OPM 是每千次曝光的成交额和订单。线上 beam 为 50,公开集为 10。

结果

四个公开集是 Amazon Beauty、Toys、Food、MovieLens-1M。5-core,每人留最近 20 次交互,最后一次做测试。生成式模型用受限 beam search。对照有 GRU4Rec、SASRec、BERT4Rec、HSTU、TIGER、HyMiRec、Tree-Transformer。HyMiRec 序列长度被限制为 10,其他非大模型基线用 20。

16 个指标 RedMall 都排第一。和 Tree-Transformer 比,多数只是小幅抬升。

数据集指标TIGERTree-TransformerRedMall
BeautyNDCG@50.03180.03350.0351
BeautyRecall@100.07190.07230.0752
ToysNDCG@100.04180.04440.0468
FoodRecall@100.08060.08430.0877
MovieLens-1MNDCG@100.09120.10530.1059
MovieLens-1MRecall@100.17130.19290.1955

Beauty 上 SASRec 的 NDCG@5 是 0.0177,RedMall 是 0.0351。Toys 的 NDCG@5,Tree-Transformer 为 0.0368,RedMall 为 0.0369;MovieLens-1M 的 NDCG@5 分别是 0.0841 和 0.0843。正文写相对提升 0.14% 到 8.16%;按表 1 对 Tree-Transformer 复算,约 0.24%(MovieLens 的 NDCG@5)到 5.41%(Toys 的 NDCG@10),区间和表不一致。公开集没有报显著性。

工业消融用 HitRate@50,1.5 亿用户的近一个月点击做训练,1.6 万用户的最近一次购买做评估。

配置HitRate@50
仅 NTP0.1416
MTP0.1535
再加 MoE0.1668
再加 SID encoder0.1832
再加双门控注意力0.1860
再加曝光损失0.1948
再加 GRPO 与 LambdaRank0.1997

从 0.1416 到 0.1997,图注给出 +5.81 个百分点、相对 +41.03%。正文常把百分点差叫成相对提升。其中曝光损失相对上一行,论文写明 4.73%(0.1860 到 0.1948)。RL 那一行论文写 +0.49%,等于 0.1997 减 0.1948。大头是 MTP、MoE 和 SID encoder。

线上都在召回,10% 对 10%,至少 7 天,表 2 的 p 值都小于 0.05。广告只收 24 小时内新商品:CTR +0.59%,ADVV +2.24%,消耗 +0.56%。推荐侧 GMV +1.08%,日活跃买家 +0.95%。取消 SID 内排序后,ADVV 只剩 +1.1%,p 值大于 0.05,下游通过率约为一半。

为什么重要

线上数字比公开榜更能说明能不能用。0.1B 激活参数,24 张 L20,每天约 1.2 亿次请求,单卡约 420 QPS;训练用 56 张 H800。三层 SID 生成已经放在召回配额里。

层融合用来补 SID 层次,序列位置编码保持不动。曝光未点收成第一层负样本。GRPO 同时用点击前缀分和 SIM 的 pCTR、pCVR,LambdaRank 负责列表序。后验截断是固定权重;拿掉之后 ADVV 不再显著,它和模型得一起上。

公开集相对 Tree-Transformer 只是小幅领先。GMV 约 1%、广告价值约 2%,在大盘上够格上线,改进幅度是渐进的。

局限与存疑

论文没有单列局限,只说以后想接大模型做意图推理。

公开集仍是留一法的单个下一商品。论文用多商品会话来批评 next-token,表 1 却没有列表指标。和 Tree-Transformer 的一些差距在小数点后第四位,没有方差;HyMiRec 还被限制成 10 条历史。OneRec、OneRec-V2 只出现在相关工作,工业基线是 RedMall 自己的 NTP。

GRPO 与 LambdaRank 没有拆开。广告流量只覆盖 24 小时新商品,消耗同步 +0.56%,窗口约 7 天。SIM 学的是线上排序器,两项系数都是 1,策略可能跟着现有排序器走。负样本打在最常见的第一层 SID,同一粗类里的相关商品是否被误伤,没有验证。曝光损失的系数也没有给出数值。

SID 一对多靠手写后验分硬截。去掉截断后 ADVV 失去显著性,生成模型单独贡献多少仍然不清楚。

术语

原文与代码

社区讨论

相关论文

全部论文解读