T-RoPE: Time-Aware Rotary Position Embedding for Sequential Recommendation
Yang Liu, Noel Loo, Ali Khanafer, Shuying Sun, Akshay Soni, Zhong Wu, Linjun Yang
cs.AI, cs.IR, cs.LG
2026-09-25
T-RoPE 用 Unix 时间戳、多尺度频率和非平稳 key 旋转打破时间平移不变；公开集全指标第一，工业数据相对 Time RAB 升 13% 到 82%，线上 CVR 升 0.33%。
生成式推荐把 Transformer 和 RoPE 一起搬过来。RoPE 转的是 token 下标。推荐里相邻两次交互可能隔几秒，也可能隔半年，下标都是 +1。索引 RoPE 还有时间平移不变性：同一段历史挪到圣诞或六月，注意力图案不变，季节进不去。
TiSASRec 把间隔分桶加到 logit 上。HSTU 的 Time RAB 同样是分桶标量偏置，动的是分数不是几何。TO-RoPE 把时间戳写进角度，但 query 和 key 共用相对几何，定理上仍平移不变。
Shopify 与 MIT、Liquid AI 的 T-RoPE 保住 RoPE 接口，改旋转的含义。五件套：
定理：共享系数的时间戳 RoPE 只依赖间隙；非平稳 key 在 α^q+α^k ≠ 0 时打破平移不变，年周期可以写进某个频率维。额外 FLOP 对序列长度和 head 维线性。
五个公开集、同一套 HSTU 训练框架、leave-one-out。HSTU+T-RoPE 在每个数据集的五项指标上都最高。Amazon Books 上 HR@10 从 Time RAB 的 6.89 到 7.65（+11.0%），五项相对最强基线大约 8–12%。ML-20M 增益大约 1%，历史较密、时间结构弱。Pixel8M 上 HR@10 从 Time RAB 的 9.14 到 11.47（+25.5%），Pixel1M 上从 12.46 到 13.35（+7.1%）。摘要里 PixelRec「相对最强基线 78–130%」拿的是 TO-RoPE；TO-RoPE 在 Pixel 上经常弱于 Time RAB，那组相对数字不能当主结论。工业消融里，去掉 query 时间对齐会使 NDCG@50 大约再掉 7%，和多尺度频率、非平稳 key 叠在一起。
工业 Shop 集：约 1.5 亿用户、480 万物品、超过 60 亿次交互，一天时间 holdout。相对 HSTU+Time RAB 骨干：
| 指标 | T-RoPE | Time RAB 骨干 |
| Recall@50 | 31.41 | 25.68 |
| NDCG@50 | 22.94 | 13.81 |
| MRR | 23.14 | 12.70 |
去掉多尺度频率，NDCG@50 掉到 13.23。去掉非平稳 key，NDCG@50 大约掉 4%。从完整模型去掉 Time RAB，MRR 从 23.14 掉到 16.89，相对偏置和旋转几何是互补的。
Shop 应用线上 A/B，对照是同一模型去掉 T-RoPE：CVR 升 0.33%（p=0.037），订单数升 0.63%（p=0.094）。
生成式推荐不该原样借用文本 RoPE。多尺度频率是主因，非平稳 key 才把日历相位放进几何。Time RAB 仍有用，不是二选一。线上 CVR 提升小但过了 0.05；订单 p=0.094，只能当方向。
对已经在跑 HSTU 一类骨干的团队，这是可插的位置编码，不是新模型。
公开集上相对 TO-RoPE 的大百分比容易误导，最强公开基线是 Time RAB。工业数据与代码不公开。β 范围是超参，换品类可能要重调。订单指标未达 0.05。只验证了 HSTU 骨干，TIGER 一类语义 ID 生成器有没有同样收益，文中没有。Unix 秒直接进三角函数，数值范围跨到 10⁸，实现时的稳定性细节主要在附录。