Is Personalized Modality Weighting Actually Personalized? A Controlled Audit of Per-User Weighting Claims in Multimodal Recommenders
Jingyuan Zheng, Xin Zhang, Yang Gu, Dongjing Wang, Yuxiang Wang, Xudong Shen, Haiping Zhang, Youhuizi Li, Dongjin Yu
cs.IR
2026-08-06
这篇审计六种逐用户模态加权头,在三个短视频数据集上发现单一全局权重已拿到几乎全部内容增益(+1.9~+3.6pp),逐用户权重相对全局没有稳定提升,过去看起来个性化的信号其实是架构混淆。
多模态推荐系统流行给每个用户一套「模态权重」:有人更信画面,有人更信文字或声音。这套做法以用户模态强度向量、注意力门、元权重超网络、低秩引导权重等各种形式出现,每种都声称比全局加权或无加权带来了排序提升。
作者指出一个被忽略的问题:过去的评测并没有把「真正的用户特异性信号」和「单一全局权重加上额外模型容量」分开。标准消融只是删掉某个模态或模块,并不切断用户和他拿到的权重之间的绑定,所以一个全局权重本就能产生的增益,也会被算作个性化的功劳。两个混淆一直没被控制:对所有用户都同等有效的全局模态缩放,以及逐用户头给骨干网络多塞的那点容量。
这是一篇审计论文,核心是一套在同一个协同过滤骨干上跑的双对照原则。
第一个对照是效用差(real-GM):逐用户头对单一全局权重(最强的非个性化替代),只有正的效用差才算个性化真有用。第二个对照是可识别性差(real-shuf):在评测时把每个用户的权重换成同活跃度档里另一个用户的权重(冻结训练好的头,只在评测期置换),看这个绑定到底重不重要。
审了六个头:自由逐用户权重表(PUM)、双线性注意力门(ATT)、元权重超网络(MWN)、低秩引导(LRG),加上把门输入换成独立私有嵌入的解耦版 ATTd、MWNd。三个独立短视频语料:清华短视频、KuaiRand-27K、MicroLens-100K,外加 Amazon-Baby 做跨域复现。还做了信号植入校准:人工植入不同强度的模态偏好,要求检出 AUROC 随强度单调上升,证明工具能检出用户特异结构。五个随机种子,配对 t 检验,Benjamini-Hochberg FDR 校正。
单一全局权重已经拿下几乎全部内容增益。
| 语料 | 全局权重对无模态基线的增益(PairAcc) |
| 清华短视频 | +1.89pp |
| KuaiRand-27K | +3.61pp |
| MicroLens-100K | +3.50pp |
三项都 p<.001。做成逐用户之后,六个头里没有一个能在三个语料、三个指标上全面胜过全局权重,少数正的差距也很小(不超过 0.9 个点)且在不同语料间翻转。
最有杀伤力的发现是一种「分离」:在 KuaiRand-27K 上,注意力头的可识别性差高达内容增益的 128%(换掉权重掉 4.64 个点),可它对全局权重的效用却是负的(落后 0.7 个点)。也就是说一个头看起来强个性化,实际用起来还不如全局权重。作者追到根因:门读的是共享的协同嵌入。把门输入换成独立嵌入后,可识别性膨胀从 128% 塌到 0.6%(注意力头)、从 87% 塌到 0.2%(超网络),而效用结论不变。信号植入校准的检出 AUROC 在 0.57 到 0.64,说明这个零结果是真的没有用户特异信号,不是测不出来。
它直接给一类流行说法泼了冷水:逐用户模态权重在评测上没有稳定的个性化收益,过去那些「shuffle 对照显著」的结论里,很大一部分是架构混淆撑起来的假象。作者提出的处方很具体:声明有效的逐用户模态加权,应当至少在两个独立语料上报告 real-GM 大于 0 且统计显著,并先用信号植入校准工具,再信任任何零结果。
对做推荐的人,这是个可复用的两对照审计协议,也是个提醒:别只看自己跟自己的 shuffle 比。
作者自己界定了三条边界。范围只覆盖静态用户权重绑定的加权类做法,不含融合架构或会话级动态权重;单一骨干的归约假设这个家族的差异主要在头而非协同路径(有一个 LightGCN 骨核检查支持)。审计的是同一骨干上的重实现,不是原作者代码,所以结论针对的是匹配条件下的权重产生机制,不是某个原始系统报的数字。主结果靠三个短视频语料和隐式反馈代理指标,pairwise accuracy 只是个无法直接观测的「模态驱动偏好」的代理。
读者还要注意:这篇证伪的是「这一类实现、在这个数据规模上」的个性化,并没有证明用户的模态偏好本身不存在。检出 AUROC 只有 0.57 到 0.64,意味着更弱的信号有可能漏检。