快手全月日志:无回放连训七天,首日命中率从 39.09 跌到 0.19

KuaiRecV2: Benchmarking Large-Scale Continual Learning for Diversified and Multi-task Recommendation

Chenxu Li, Shuchang Liu, Hantao Shu, Wei Yuan, Zhe Xu, Guoqing Hu, Yan Wang, Biao Yang, Xiang Li, Cheng Ling, Fan Yang, Yongqi Liu, Lantao Hu, Han Li, Kaiqiao Zhan, Kun Gai, An Zhang, Xiang Wang

NeurIPS 2026

cs.IR

2026-11-12

快手与中科大发布 KuaiRecV2,用 30 天里 12.4 万用户产生的 4.84 亿次交互考察持续学习。无回放时 MiniOneRec 的首日 HR@50 从 39.09 跌到 0.19,5% 回放只剩 3.20。

这篇在解决什么

生成式推荐把视频编成离散 token,逐 token 生成后再映射回视频。静态测试里命中率可以很好看。短视频对不上,是因为离线数据常被打乱时间:模型用未来的交互训练,再拿过去的样本考试。

快手的候选池每天都在换。新视频进入,创建满 7 天的移出。分布一直在变,模型还得保住早期偏好。一个视频有多层 token,单层偏向会乘进后续组合,准确和多样比在物品列表上更难调。业务品类跟语义 ID 对不齐。点击、长播、点赞和 Hate 要一起管时,生成式模型只拟合下一个物品,没有判别式那种多头。

方法

KuaiRecV2 由快手和中国科学技术大学发布,收在 NeurIPS 2026 评测与数据集赛道。用户均匀抽样,只留 30 天内交互不少于 100 次的人。全月集 124,055 名用户、24,898,648 条视频、484,045,145 次交互,稀疏度 99.9843%,人均约 3902 次。前两天是 Small,约 245 万条视频、3896 万次交互。另外留出一天做榜单测试。

标签覆盖短播、完播、点赞、评论、关注、转发、搜索、进主页和 Hate。视频侧三样特征都已冻结,生成它们的模型未使用这 30 天日志:64 维多模态向量、RQ-VAE 做出的 8 层语义 ID、多模态大模型打的标签。语义 ID 是层级离散码,生成器一层层吐出,再映射回视频。用户画像删除。

训练按天走。第 1 天得到 θ1,之后用昨天的参数初始化,只吃当天的新数据。用户序列跨天拼接,避免在零点切断。第 t 天的候选池只含创建于第 t-6 天到第 t 天的视频。验证取该用户当天最后一次交互。把训到第 k 天的检查点放回第 1 天,用来量遗忘。

点击用 NDCG 和 HR@K。HR@K 是正确下一条进入前 K 名的比例。多样性同时看物品覆盖率、Gini 系数和 token 层的路径多样性、每层唯一 token 数、熵。多个行为各有排序分,评估时只许一个模型出列表。三项都变好才叫有效进展。基线包含 SASRec、GRU4Rec(表内写作 GRURec)、TIGER、LLaDA-Rec 与 0.5B 的 MiniOneRec。后三个在语义 ID 上生成,LLaDA-Rec 用离散扩散并行解码。训练比的是下一物品 SFT,以及把多行为奖励加起来的 RL。奖励只指导训练。

结果

共享语义 ID 没有去掉换池带来的尖峰。MiniOneRec 每进入新的一天,损失都会跳起。第 1 天前 20 步损失为 1.236,当天能降下来,下一天又跳。

回看第 1 天验证集的 HR@50 见表 3。这里的数字论文没有写成 10^{-3},不要和后面的百分比混在一起。

方法Day 1Day 2Day 3Day 5Day 7
MiniOneRec39.0917.896.6250.410.19
加上 EWC LoRA38.6722.937.180.600.20
加上 5% 回放39.0925.2410.265.453.20

裸模型七天里从 39.09 掉到 0.19,大约是起点的 1/206。Day 4 已经掉到 1.03,同期回放还有 5.59。EWC LoRA 在低秩适配的参数上加重要性惩罚,只维持到第 5 天,Day 7 为 0.20。留 5% 旧样本的回放到 Day 7 仍有 3.20,约为裸模型的 17 倍,不到起点的一成。

Small 上的静态检索是三颗种子(42、2026、999)的均值,表 4 的数字要乘 10^{-3} 才是比例。

方法规模NDCG@10HR@10HR@50
SASRec未报告0.971.966.61
GRURec未报告1.202.7110.99
LLaDA-Rec5.3M3.106.4717.31
TIGER-Tiny4.9M4.018.0120.52
TIGER-Small30M7.3715.5841.07
MiniOneRec0.5B12.0123.5962.63

MiniOneRec 的 HR@50 是 6.26%,约为 SASRec 0.66% 的 9.5 倍。5.3M 的 LLaDA-Rec 已经超过 GRURec。TIGER-Tiny 的 HR@50 标准差有 3.27,和 LLaDA-Rec 的 17.31 盖不住种子波动。0.5B 对 30M 是 62.63 对 41.07,差距稳。

Gini 只统计被推荐过的物品,数值仍然很高。Gini@50(×10^{-2})为:LLaDA-Rec 92.41,TIGER-Tiny 95.87,TIGER-Small 93.10,MiniOneRec 90.69。Coverage@50(×10^{-4})反过来,最准的 MiniOneRec 只有 18.80,LLaDA-Rec 有 98.86。

第 21 天 MiniOneRec 在点击上的 8 层码,Top-50 第 1 层只有 12.47 个不同 token。路径多样性第 1 层 12.47,第 3 层 42.84,第 4 层以后停在 45.93 至 48.69。新组合主要在前三层用完。

前 19 天只有点击 SFT。第 20 天起交替做 SFT 和 RL,高于继续只做 SFT。只做 RL 在第 20 天上升,第 21 天换池后下降。多行为的 RL 离开 SFT 就稳不住。图上没有逐日数字。同一检查点拆到行为上(×10^{-3}),点击、长播、点赞的 HR@50 是 47.60、51.50、50.99,Hate 全是 0,搜索的 HR@50 为 55.77,NDCG@1 为 0。

为什么重要

这套协议把 7 天滑动池、按天连训、两层多样性和单模型多任务放在同一把尺子里。只涨命中率不算数。2022 年 KuaiRec 只有 1,411 名用户、3,327 条视频、约 400 万次交互,评的是全观测离线。这一版交互大约 120 倍,视频增到约 2490 万。FORGE 有 140 亿交互,但评的是语义 ID 质量。

语义 ID 去不掉换池当天的损失尖峰。5% 回放强于 EWC,Day 7 仍只有 3.20。命中最高的 MiniOneRec 覆盖率最低,只报 HR 会选出更窄的推荐。

局限与存疑

附录写明三件事:隐私原因删了用户特征,离线仍代替不了线上;工业日志更复杂;没有跨域,看不了迁移。

表 3 没写 HR@50 要不要乘 10^{-3},不能和表 4 的 6.26% 对比。遗忘只列到第 7 天,损失图只画了前 5 天,RL 没有日表。n=100 去掉轻用户,人均约 3902 次不能外推。Gini 排除了从没被推荐的视频。Hate 全是 0,说明这个点击生成器没把负反馈当目标。实验清单写明没有做显著性检验。语义 ID 冻结后,换 tokenizer 不会体现在榜上。按自然日整批换池,也和线上随时进出不同,论文没测这个差别会不会改变遗忘有多严重。

术语

原文与代码

社区讨论

相关论文

全部论文解读