一次交互内并行预测语义ID,TraGR三十六项指标全部最高

From Tokens to Behaviors: Rethinking Generative Recommendation for User Trajectory Prediction

Jiaqi Wang, Hanchen Yang, Hengyu Zhang, Hongxu Ma, Wenqi Rao, Hongyang Wang, Zhongbo Sun, Renliang Qian, Weixin Chen, Wengen Li, Jihong Guan, Shuigeng Zhou, Qingpeng Cai, Peng Jiang, Hong Cheng

cs.IR

2026-11-12

TraGR每次交互并行预测语义ID,用概率摘要更新下一步。四数据集36项全第一,排序分相对约升1.15%至21.39%。

这篇在解决什么

序列推荐大多只猜下一次交互。用户行为轨迹预测(UBTP)要的是未来 K 次交互的先后顺序:跑鞋之后是运动袜,再是水壶。

生成式推荐把物品编成语义 ID(SID,一组离散码),再逐 token 生成。接到轨迹上有三处错位。物品内部的码和下一次行为挤在同一串自回归里,一次交互要串行解多步,交互之间没有单独的状态。中间步通常只传递选中物品。袜子概率 50%、跑鞋 35% 时,只喂袜子向量,下一步容易继续靠向袜子。训练用真实前缀做 teacher forcing,推理却接着模型自己的预测走。

方法

TraGR(快手、港中文、同济、复旦)把一次完整交互当作生成单位。物品文本用优化乘积量化(OPQ)得到固定 SID:16 个 token,每个码本 256 个码。物品向量取这些 token 向量的平均,码分配冻结。最长 50 条历史送入 2 层因果 Transformer,用末位初始化行为状态。

每一步只更新一次状态。每个 SID 位置一个残差头,读同一个状态,并行预测后再合成全库物品分布,因此 16 个 token 不用串行解码。选出物品之后,反馈向量仍混入一份备选摘要:权重同时看预测概率和与选中物品的相似度,再以系数 η 和选中物品混合。第二阶段和推理取 η=0.75。共享的转移网络把状态、反馈和步数嵌入做一次残差更新。

第一段在真实前缀上同时监督下一个物品和 K 步轨迹,η=0。第二段每个历史采样 8 条自己的轨迹。奖励是当前位置是否命中,加上训练集中该接续的频率,权重 0.25;后续步骤的期望奖励记回较早的选择,并用其他轨迹的平均回报做基线,再以 KL 系数 0.5 靠近冻结的参考模型。

结果

Beauty 和 Cell Phones 预测 3 步,ML-1M 和 Last-FM 预测 5 步,时间切分,全库排序。MHR、MNDCG 是位置分数的算术平均,SHR、SNDCG 是几何平均,SeqMatch@50 要求每个位置都进 top-50。36 个组合里 TraGR 全部最高。相对各集最强基线,MNDCG@10 约升 1.15%到21.39%,SNDCG@10 约升 1.63%到18.65%。SeqMatch@50 的相对提升约 29.46%、75.65%、6.63%、12.02%。三个种子下主指标 p<0.05。Beauty 对照列的两个数依次是 MNDCG@10 和 SeqMatch@50。

数据集MHR@10MNDCG@10SeqMatch@50对照
Beauty0.06290.03320.0435RPG-M:0.0288 / 0.0336
Cell Phones0.04830.02440.0202EchoRec 的 MNDCG@10 为 0.0201
ML-1M0.21440.11200.1545最强基线 MNDCG@10 为 0.0954
Last-FM0.33200.21110.2256MNDCG@10 相对约 +1.15%

75.65% 的底数是 0.0115,Cell Phones 的整段覆盖率仍只有 0.0202。

只看历史、不做状态更新时,SNDCG@10 为 Beauty 0.0219、ML-1M 0.0521;有序监督并喂入真实物品后为 0.0258 和 0.0972。反馈置零几乎不涨。改成无序多标签,这两项再降约 25% 和 23%。

相对只传选中物品,完整反馈的优势在后段变大:ML-1M 第 5 步 HR@10 相对高 19.3%(第 1 步约 5%),Beauty 第 3 步 HR@10 相对高 31.0%,NDCG@10 相对高 18.2%。相似度加权在 Beauty 上再把 SNDCG@10、SHR@10 提高 5.34% 和 7.65%。去掉选中物品锚点会变差。

第二段若继续监督,或在自生成前缀上做交叉熵,都低于完整目标。拿掉协同转移或后续信用的任意一项,分数都下降。切断反馈梯度后,Beauty 的 SNDCG@10 从 0.0296 降到 0.0281。

K 取 3、5、7、10 分开训练时,ML-1M 上每个长度的 SHR@10 和 SNDCG@10 都是 TraGR 最高。Last-FM 只有 K=3 的 SNDCG@10 上 LPDO 略高。长度拉长后所有方法都变差,TraGR 的相对跌幅更小。单张 H200、batch 64 的整集推理里,它快于 LPDO(1 步去噪)和 GCB(beam 100),慢于 RPG;显存低于 GCB,高于 LPDO 和 RPG。

为什么重要

SID 放在一次交互内部并行解码,行为转移单独走在交互之间,下一步收到的是分布。模型只有宽度 448 的 2 层 Transformer。代码已公开。

下一次点击、以及不看顺序的购物篮,都不等于这条轨迹。多标签消融里丢掉顺序是减分的。相对提升看数据集:短序列上绝对命中仍是个位数,Last-FM(987 个物品)的 MNDCG@10 只多约 1.15%。

局限与存疑

目录项是线性复杂度,论文把候选筛选留到以后。Beauty 约 1.2 万物品,更大目录没有验证。Cell Phones 的 SeqMatch@50 只有 0.0202,相对涨幅不能当成轨迹已经预测准。

GCB 无官方代码,表中是按描述重写的 RQ-VAE 版本,beam 宽 100。Beauty 上它的 MNDCG@10 为 0.0146,低于 SASRec 的 0.0148,也远低于 RPG-M。ML-1M 上为 0.0665,低于 SASRec 的 0.0727。和这个复现版的差距,弱于和 RPG-M、LPDO、EchoRec 的差距。beam 侧只在解码候选上排名,无效码会丢,名额不够也不补;TraGR 对全库打分。

Beauty 只评估 5123/22363 个用户,Cell Phones 为 3216/27879,都是长到能切出三段轨迹的人。Last-FM 平均长度 1176,历史却截断到 50。冷门接续的协同奖励为 0。训练耗时和在线结果都没有。

术语

原文与代码

社区讨论

相关论文

全部论文解读