Self-Evolving Memory for Generative Recommendation
Xinyu Lin, Zhuosong Jiang, Zixiao Suo, Siqin Wang, Hanqing Zeng, Hanchao Yu, Yinglong Xia, Jiang Zhang, Aashu Singh, Fei Liu, Wenjie Wang, Fuli Feng, Yang Song, Qifan Wang, Tat-Seng Chua
cs.IR, cs.AI
2026-09-14
NUS与Meta指出生成式推荐在共享自回归参数里持续更新会让主流行为压过长尾;LION用稀疏KV记忆加巩固损失,Games上Recall@10相对TIGER提升29.8%。
生成式推荐把下一项的标识符当 token 序列来自回归生成,用户历史编码和物品生成挤在同一套 Transformer 参数里。线上偏好在变,模型得跟着流式交互更新。直接持续微调,或用蒸馏、回放做正则,都是在这套共享参数上改。
论文把这里的结构性问题叫 evolution conflict。活跃用户的常见行为梯度又大又密,不活跃用户的少见行为梯度又小,两者在共享空间里还可能方向相反。更新被主流拽走,长尾被一步步忽略。他们在 Toys 上把 TIGER 按活跃度分组:从 Period 0 演进到 Period 1,活跃且模式常见的用户变好,不活跃用户变差,总分跟着掉。
LION 给自演化定了三条:隔离记忆,让不同行为走不同参数路径;强化演化,给少见模式更强监督;规模可上,参数不随用户数涨。
实现是一层稀疏 Key-Value 记忆,插在 TIGER(T5)骨干的中间层。N 个可训练 KV 对。用户表示来自完整交互史,和所有 key 做点积,Top-K 激活,value 按归一化权重加回当前隐状态。骨干前后层仍只看最近一段历史,省算力;路由看全历史,避免近期窗口把人看扁。
训练两条损失。推荐损失照旧,监督最终自回归输出。巩固损失直接接在记忆增强后的表示上,再预测下一项,逼记忆层把少见偏好也写进去。总损失是 Lrec + λ Lcon。每个时间段新数据到来,骨干和记忆一起微调,再拿去服务下一段。
理论侧把冲突关进激活重叠的那 K 个槽;重叠比 ρ 越小,冲突相对全共享基线越低。他们还把跨模式干扰写进有效梯度噪声,用来解释少见模式为什么收敛更快。参数量是 2Nd,与用户数无关,只要 |U| > 2N 就比人均 embedding 便宜。
实验用 Amazon Games、CDs、Toys,按时间切成五段等量交互,用户按上一段历史长度分成活跃到不活跃五组。骨干统一 TIGER。基线包括持续微调、Replay、SAIL-PIW、PISA,以及面向生成式推荐的 RecICL、LSAT、PESO。
四段评估、五组用户的样本加权平均:
| 方法 | Games R@10 | CDs R@10 | Toys R@10 |
| TIGER | 0.0558 | 0.0331 | 0.0666 |
| RecICL | 0.0686 | 0.0352 | 0.0530 |
| SAIL-PIW | 0.0572 | 0.0392 | 0.0689 |
| LION | 0.0724 | 0.0449 | 0.0769 |
| 相对 TIGER | +29.8% | +35.5% | +15.6% |
多数格子 LION 第一,但不是全赢。Games 的 NDCG@10 上 RecICL 是 0.0470,LION 0.0454,排序质量 RecICL 更好。不活跃组(G3–G5)的 Recall@10 增益普遍大于活跃组,和「隔离是写给长尾的」一致,且四段演进里都在。
消融很硬。只加巩固损失、没有稀疏记忆,Games Recall@10 从 0.0558 掉到 0.0532:辅助损失打在共享表示上,冲突被放大。只加记忆层几乎不动(0.0558)。记忆加全历史路由到 0.0586。三条齐套才到 0.0724,巩固损失是主升力。λ 从 0 拉到 0.3 以后两套数据都稳,Games 峰值在 λ=1.0,CDs 在 0.5。
梯度余弦支持隔离叙事:TIGER 上活跃/不活跃梯度常是负的,LION 的记忆层上四段都为正。物品侧头部 60% 对长尾 40% 同一趋势。记忆词表从 4,096 键扫到 65,536、K 从 8 到 32,Recall@10 波动在 ±0.4% 以内。记忆插在第 0 层会崩(Games 0.0261),从第 1 层起都可用,默认第 5 层。
生成式推荐若要按周、按天接着训,共享骨干上的持续微调会系统性牺牲不活跃用户。LION 给出一个参数不随用户涨的补丁:稀疏记忆当隔离层,巩固损失当长尾助推。对已经在跑 TIGER 一类 ID 生成器的团队,这是架构增量,不是换范式。
它是渐进改进。Games 上 RecICL 的 NDCG 仍能打过 LION,说明 in-context 示例这条路没有被关掉。绝对 Recall@10 仍在 0.04–0.08,离工业主列表还有距离。价值在「冲突被测量、被部分拆开」,不在刷一条新 SOTA 曲线。
骨干只有 T5 版 TIGER,LLM 推荐器、HSTU 一类放大骨干会不会还成立,写在未来工作里。路由是固定 Top-K,复杂用户和简单用户花同样的记忆预算。巩固损失的 λ 要按数据集选,没有一条通用默认。
Amazon 评论三个品类、五段等量切分,不是生产流量。基线被改造成同一套 TIGER,对原本不是生成式的持续学习方法可能不公平。理论把 key 特化写成观察趋势,不是保证;重叠 ρ→0 依赖数据和优化。用户侧没有显式 ID,和轻量 user adapter 能不能叠,没做。