RedMall: Generative Recommendation for Large-Scale E-commerce
Kunyang Zhou, Xin Jia, Yi Yang, Yongjun Yang, Manjie Xu, Honglei Zhang, Yan Zhu, Kai Zuo, Xu Tang, Zheng Wang
cs.IR
2026-10-26
小红书提出生成式推荐 RedMall,用三层残差量化语义 ID 表示商品,再以曝光未点击作负样本,并用 GRPO 与 LambdaRank 优化列表排序,线上广告价值涨 2.24%、GMV 涨 1.08%。
电商商品库一大,GRU4Rec、SASRec、BERT4Rec 这种逐商品打分就变贵。生成式推荐改成先做语义 ID(semantic ID,SID),再按用户历史把下一个 SID 逐 token 生成出来。TIGER 用残差量化加自回归解码,把这条路跑通了。
工业召回还有四处对不齐。SID 后一层编码的是前一层残差,拉平就看不见层次;Tree-Transformer 用树形位置编码补结构,却挤占了原来的序列位置。next-token prediction 只盯下一个商品,会话要的是一列。点击里没有曝光未点。单条奖励也管不到列表内部的相对次序。
RedMall 来自小红书,同济大学参与。
商品的文本、图像向量先投影,再由门控按商品混合。融合向量用行为序列上的下一商品预测做后训练,新商品仍保留内容特征。RQ-VAE 产出三层码,码本 8192、1024、128;码字用衰减 0.995 的滑动平均维护,使用率低于 0.2 就重置。
SID encoder 是编码器前的轻量插件:三层嵌入共享词表,沿层融合后映回各层,加进编码器。这样补上层次,又不用改序列位置编码。
解码器以 TIGER 为底,前馈改为 12 专家的稀疏 MoE,推理只开 2 个,约 0.5B 参数、0.1B 激活。编码器、解码器各 4 层。
多目标预测把序列末尾 5 个商品同时当作目标,每个目标单独前向,损失相加。训练信号从 1 个下一商品扩成 5 个。推理阶段仍用 beam search 组列表,不会在一次前向里直接吐出整表。
历史行为使用双向注意力,目标码保持因果;门控再调节注意力输出,合称双门控注意力。曝光损失取窗口 5 里曝光未点商品中最常见的第一层 SID 做负样本,只压低该前缀,正样本仍监督完整三层码。
GRPO 组大小 32。点击奖励看未来窗口 5,SID 按层命中,一层 1 分,满分 3;再加上 SIM 预测的 pCTR、pCVR,系数都是 1。SIM 由线上排序模型蒸馏而来。同一请求的候选另加 LambdaRank,系数 0.5,权重是交换二者对 NDCG 的影响。
一个 SID 挂多个商品。后验分 0.8 ln(1+GPM)+0.2 ln(1+OPM) 用来截断,每个 SID 留 40 个,避免配额被重复商品占满。GPM、OPM 是每千次曝光的成交额和订单。线上 beam 为 50,公开集为 10。
四个公开集是 Amazon Beauty、Toys、Food、MovieLens-1M。5-core,每人留最近 20 次交互,最后一次做测试。生成式模型用受限 beam search。对照有 GRU4Rec、SASRec、BERT4Rec、HSTU、TIGER、HyMiRec、Tree-Transformer。HyMiRec 序列长度被限制为 10,其他非大模型基线用 20。
16 个指标 RedMall 都排第一。和 Tree-Transformer 比,多数只是小幅抬升。
| 数据集 | 指标 | TIGER | Tree-Transformer | RedMall |
| Beauty | NDCG@5 | 0.0318 | 0.0335 | 0.0351 |
| Beauty | Recall@10 | 0.0719 | 0.0723 | 0.0752 |
| Toys | NDCG@10 | 0.0418 | 0.0444 | 0.0468 |
| Food | Recall@10 | 0.0806 | 0.0843 | 0.0877 |
| MovieLens-1M | NDCG@10 | 0.0912 | 0.1053 | 0.1059 |
| MovieLens-1M | Recall@10 | 0.1713 | 0.1929 | 0.1955 |
Beauty 上 SASRec 的 NDCG@5 是 0.0177,RedMall 是 0.0351。Toys 的 NDCG@5,Tree-Transformer 为 0.0368,RedMall 为 0.0369;MovieLens-1M 的 NDCG@5 分别是 0.0841 和 0.0843。正文写相对提升 0.14% 到 8.16%;按表 1 对 Tree-Transformer 复算,约 0.24%(MovieLens 的 NDCG@5)到 5.41%(Toys 的 NDCG@10),区间和表不一致。公开集没有报显著性。
工业消融用 HitRate@50,1.5 亿用户的近一个月点击做训练,1.6 万用户的最近一次购买做评估。
| 配置 | HitRate@50 |
| 仅 NTP | 0.1416 |
| MTP | 0.1535 |
| 再加 MoE | 0.1668 |
| 再加 SID encoder | 0.1832 |
| 再加双门控注意力 | 0.1860 |
| 再加曝光损失 | 0.1948 |
| 再加 GRPO 与 LambdaRank | 0.1997 |
从 0.1416 到 0.1997,图注给出 +5.81 个百分点、相对 +41.03%。正文常把百分点差叫成相对提升。其中曝光损失相对上一行,论文写明 4.73%(0.1860 到 0.1948)。RL 那一行论文写 +0.49%,等于 0.1997 减 0.1948。大头是 MTP、MoE 和 SID encoder。
线上都在召回,10% 对 10%,至少 7 天,表 2 的 p 值都小于 0.05。广告只收 24 小时内新商品:CTR +0.59%,ADVV +2.24%,消耗 +0.56%。推荐侧 GMV +1.08%,日活跃买家 +0.95%。取消 SID 内排序后,ADVV 只剩 +1.1%,p 值大于 0.05,下游通过率约为一半。
线上数字比公开榜更能说明能不能用。0.1B 激活参数,24 张 L20,每天约 1.2 亿次请求,单卡约 420 QPS;训练用 56 张 H800。三层 SID 生成已经放在召回配额里。
层融合用来补 SID 层次,序列位置编码保持不动。曝光未点收成第一层负样本。GRPO 同时用点击前缀分和 SIM 的 pCTR、pCVR,LambdaRank 负责列表序。后验截断是固定权重;拿掉之后 ADVV 不再显著,它和模型得一起上。
公开集相对 Tree-Transformer 只是小幅领先。GMV 约 1%、广告价值约 2%,在大盘上够格上线,改进幅度是渐进的。
论文没有单列局限,只说以后想接大模型做意图推理。
公开集仍是留一法的单个下一商品。论文用多商品会话来批评 next-token,表 1 却没有列表指标。和 Tree-Transformer 的一些差距在小数点后第四位,没有方差;HyMiRec 还被限制成 10 条历史。OneRec、OneRec-V2 只出现在相关工作,工业基线是 RedMall 自己的 NTP。
GRPO 与 LambdaRank 没有拆开。广告流量只覆盖 24 小时新商品,消耗同步 +0.56%,窗口约 7 天。SIM 学的是线上排序器,两项系数都是 1,策略可能跟着现有排序器走。负样本打在最常见的第一层 SID,同一粗类里的相关商品是否被误伤,没有验证。曝光损失的系数也没有给出数值。
SID 一对多靠手写后验分硬截。去掉截断后 ADVV 失去显著性,生成模型单独贡献多少仍然不清楚。