Data Processing for Offline Evaluation in Recommender Systems: a Survey
Alberto Carlo Maria Mancino, Angela Di Fazio, Danilo Danese, Matteo Attimonelli, Daniele Malitesta, Antonio Ferrara, Claudio Pomo, Tommaso Di Noia
cs.IR, cs.LG
2026-09-19
综述 517 篇推荐系统论文:训练前的数据处理缺乏统一实践,支持度过滤占主导,切分协议同名不同义,近半数据集仅用过一次。
推荐系统研究里,离线评估是绝对主流:按 Zangerle 与 Bauer 2023 年的统计,超过 70% 的已发表论文靠历史交互数据做实验,不用上线,也不用招用户。这个范式的地基早有裂缝,文献里反复点名过:数据集与任务错配、信息泄漏(测试数据漏进训练集)、负样本采样偏差、缺统计检验。
社区把注意力放在管道两端的模型结构和评测指标上,中间那段「训练前对数据做了什么」几乎没人系统看过。两篇论文可以用同一个数据集的不同版本、不同的切分方式;多模态推荐更乱,图像特征用 ResNet-50 还是 VGG-16,文本用 Sentence-BERT 还是预计算 embedding,各选各的。论文之间的性能差距,可能来自数据准备而不是模型创新。Politecnico di Bari 团队的这份 147 页综述,第一次跨范式清点这些实践。
语料的入口不是直接检索,是 11 篇领域综述:2020-2025 年发表、引用数不低于 30、发在 Q1 期刊或 A/A 会议,从协同过滤一直覆盖到 LLM 推荐共 11 个范式。筛出其中提出新方法或实证研究、且用离线评估的论文,得到 2001-2024 年间的 517 篇;约 75% 发在 A/A 会议或 Q1 期刊,后文的乱象赖不到弱 venue。
核心产出是一套统一框架,把管道拆成数据集选择、交互表示、数据准备、多模态特征提取、切分五段,并给出数据变换的分类法:
517 篇论文共用到 270 个数据集、1497 次论文-数据集配对,平均每篇 2.9 个。使用次数高度长尾:
| 发现 | 口径 | 数值 |
| 只被用过一次的数据集 | 270 个里 | 46.1%(124 个) |
| Top 30 数据集 | 占数据集总数 | 11.2%,吃掉大部分使用次数 |
| Movies 领域 | 25 个数据集 | 361 次使用,平均复用 14.44 |
| E-commerce 领域 | 54 个数据集 | 263 次,平均复用 4.87 |
| Multi-domain 领域 | 7 个数据集 | 110 次,平均复用 15.71 |
用得最多的是 MovieLens-1M、Yelp、Amazon 系列。处理层面,数据集级变换由支持度过滤主导,表示级变换少见;侧信息的准备方式五花八门;切分协议的描述不一致,相似标签背后可能是不同的实验条件。还有一批数据集根本拿不到:专有的(Amadeus CME、AlipayMiniApp)、要申请的(8TRACKS、Vine)、链接已失效的(Art of the Music、RecSys Challenge 2016)。
对做推荐研究的人,这是一份对照清单:跟 baseline 比较前,先核对数据集版本、k-core 阈值、切分协议、特征提取器是否一致;对不上号的差距,别急着归因给模型。综述给的分类法也是一套统一报告词汇,审稿和复现都用得上。对读论文的人,默认结论更实用:跨论文的数字不可比,除非两边的数据处理完全对齐;LLM 推荐方向尤其如此,大量成果发在未经同行评审的 venue 上,实践更没定型。这是综述,不产出新方法,价值在系统化;对一个没人盘点过的问题,第一份盘点就是参考。
经由 11 篇综述间接采样,没被它们覆盖的论文进不来;30 引用的门槛偏向更早、更主流的工作,最新实践可能漏掉;部分论文因付费墙拿不到而被排除,综述自己承认了这一点。频率统计回答「大家怎么做」,回答不了「某种预处理会让指标差多少」,正文没有这类受控对照。数据集版本不明时靠用户数、物品数推断,标注噪声难免。