Recommendation World Models for Future-State Control
Jinfeng Xu, Zheyu Chen, Ziyue Peng, Jianheng Tang, Zheng Lin, Jing Yang, Puzhen Wu, Zheng Xing, Victor C. M. Leung
cs.IR
2026-09-25
UA-TWM在冻结排序器附近搜候选列表,预测效用、目标位移和失败风险,不过关就退回原列表。MovieLens上12个骨干Recall@20中位+5.9%,KuaiSim闭环0次无效宣称。
序列推荐很会排下一件物品。屏幕上真正出去的是一整页列表,这页会改用户下一拍的反馈和状态。两页Recall接近,一页可能把后续消费收成窄类型,另一页把混配拉开。下一件的分数排不出这种后果。平台若想在保住点击的同时降集中度、调曝光、把品类混配推向某个目标,需要在排序器外面加一层:比较「附近的列表」对未来统计量的影响,而不是重训一个长期RL策略。
UA-TWM是效用锚定的世界模型接口。骨干冻结,给出锚点列表A0。候选只在锚点附近生成:日志回放里用标准化骨干分加β倍的标签对齐分重排Top-K,β在校准用户上选;闭环里用锚点局部替换,外加一组图语义替换(重复、均衡、多样性,带点击下限)。物品不跑出骨干Top-M池。
日志回放预测三件事:相对锚点的效用边际(池内标准化分差)、目标位移(列表品类混配相对前缀目标的L1改善)、失败风险(效用跌破用户地板或目标增益不够)。风险头是带L2的逻辑回归,特征只用前缀和候选侧量,测试未来正例不进训练。三道门全过的候选里选预测目标增益最大的;一个都不过就退回A0。覆盖率是非锚点选择的比例,无效率是这些选择里事后失败的比例。
闭环在KuaiSim上拟合一步状态-动作岭回归,预测重复曝光、标签熵、历史重叠和下一步覆盖。每步在锚点、两次局部编辑、六次语义替换里挑,用即时点击做效用门。执行一页、观察反馈、更新状态,重复10步。预测深度P=1,交互H=10,列表长度6。
MovieLens-25M(162541用户)和KuaiRand-Pure(17269用户)上,十二个冻结骨干全部在Recall@20、NDCG@20和未来状态L1上变好。MovieLens的Recall增益0.0119到0.0144,中位相对+5.9%;KuaiRand中位Recall+6.4%、NDCG+6.5%。状态L1在MovieLens降0.037到0.046,KuaiRand降0.064到0.082。
| 骨干 | ML R@20 基线→+UA | ML N@20 基线→+UA |
| GRU4Rec | 0.118→0.130 | 0.034→0.038 |
| BERT4Rec | 0.245→0.258 | 0.099→0.104 |
| S3Rec | 0.249→0.261 | 0.095→0.100 |
| FAVE | 0.253→0.266 | 0.203→0.213 |
| ADRec | 0.025→0.037 | 0.019→0.029 |
强锚点同样受益:S3Rec、FAVE在MovieLens上仍涨。KuaiRand上S3Rec从0.1148到0.1202,状态损失1.368到1.304。覆盖率两边差很多:MovieLens 41.5%到94.4%,不安全率3.3%到5.2%;KuaiRand 94.8%到99.0%,不安全率5.0%到6.1%。
去掉效用地板会换来更大状态移动和更差排序;去掉状态头会削弱目标改善;去掉风险门会放进更多不安全宣称。MovieLens的FPMC上,进取策略状态损失多降0.051但无效12.5%,约束策略降0.046、无效3.5%。KuaiRand的ADRec上,进取策略Recall和NDCG变负,约束策略拉回正增益,无效从10.5%降到5.8%。
闭环对照多样性重排锚点:UA-TWM点击42.936对42.892,目标L1 2.581对2.819,四个目标场景给出有效宣称,三个退回,十个种子零无效。退回前相对锚点的目标改善0.374,95%区间[0.251, 0.505]。去掉动作摘要的状态-only消融一次宣称都没有,配对优势0.173。岭回归在留出种子上归一化MAE从0.491降到0.266。语义进取控制器把目标L1打到0.4到0.7,点击也掉到锚点以下;UA-TWM选择保点击、少移动。
给已经上线的序列模型加一层局部后果选择,不必重训、不必上长期RL。12个骨干(循环、注意力、马尔可夫、多兴趣、扩散、流)全涨,说明这层吃的是「排序分数排不出未来混配」的结构缺口,不是某个模型的特例。退回锚点是一等公民:没有合格候选就不要硬转。
适合有明确未来统计量(品类混配、重复、多样性)且必须守住短期效用的场景。不是通用世界模型,是锚点附近的一步选择器。
日志回放的正例来自历史策略,未展示列表的真实转移不可识别,对齐的是「历史未来混配」而不是干预效应。闭环在模拟器里,一步预测、十步交互,没有真实用户。候选出不了骨干Top-M,远处的列表不在搜索里。KuaiRand近乎每次都离开锚点,门控在这个域上几乎常开。风险校准ECE仍到0.1量级。目标是标签混配的L1,换一个目标函数要重做校准。论文没给延迟和候选生成成本。