Beyond Raw Engagement: A Counterfactual Observability Framework for Recommender Systems at Netflix
Chaoran Guo, Ding Tong, Ting-Po Lee, Scarlet Chen
cs.IR, cs.AI
2026-09-19
把推荐可观测性做成反事实问题:一条内容拿走后系统会换成什么、互动会少多少。基于探索日志的Hájek估计,与11次下线A/B的R²=0.8212,已用于首页row策划和模型监控。
推荐系统给内容创作者和模型开发者看的,通常是点击、播放、点赞。这些数把内容质量、模型排位、展示位置、触达范围揉在一起。一部好片可能因为新模型把它放低而CTR难看,创作者会误判内容不行,开发者也会用被污染的反馈去调模型。
Netflix把可观测性收成一个反事实测量问题:如果没有这条内容、或没有这个模型决策,推荐会怎么排,互动会怎样。同一套测量同时服务创作者和开发者。投稿目标是RecSys 2026。
三条原则:把内容质量和模型行为分开;修正展示偏差等推荐引入的偏;指标对齐长期价值,而不是只看当下点击。
测量建立在带记录选择概率的Exploration & Exploitation模块上,形式是上下文bandit:策略π在上下文x下以π(a|x)选臂,观察到奖励r(可以是CTR,也可以是留存)。
去偏用自归一化逆倾向得分(SNIPS),并把记录概率在10分位截断以压方差。相对性分两层:策略对策略,用两个目标策略的SNIPS作差;条目对条目,问「同一位置上,这条比随机一条好多少」,按位置权重求和,用来压位置偏差。
增量是核心。单层推荐用Leave-One-Out:在探索策略之上构造「把某条内容拿走」的模拟策略,匹配函数只在两种情况为1:探索臂是原第一且不是被删内容,或原第一就是被删内容且探索臂是第二名。各位置SNIPS之差再按位置加权,就是这条内容的增量。
级联推荐里,上游开发者关心的是「候选池里有没有i」值不值得,匹配改成目标池和探索池的集合相似度(如Jaccard),公式仍是Leave-One-Out。创作者和平台则要把全链路贡献拆开:
Incrementality(i) = Irreplaceability(i) × Universality(i)
Irreplaceability是「在i已经入池的条件下,它比下一名多贡献多少」,用探索日志构造合成处理/对照,倾向πj是i被选中的记录概率;论文最终选用自归一化Hájek估计,比Horvitz–Thompson在异构倾向上更稳。Universality是i出现在候选池里的会话占比。无放回顺序生成(货架、播放列表)把逐步条件概率收成累积选中概率p{iK}=1−∏(1−π{ik}),再代入同一估计量。
仿真:1000条内容,固有CTR从Beta(1,8)/4抽样,目标策略在带噪亲和力上排序,探索策略是温度0.1的Boltzmann并记录概率。随机抽走R1或R2,把真实CTR损失和Leave-One-Out估计对比,低噪声时量级对齐,噪声加大后偏差变大但仍可用。
线上对齐:针对首页row策划,把整条row从推荐里拿掉做A/B,用互动损失当ground truth。倾向裁到[0.0001, 0.9999],每条row至少100次观察。11次A/B上,离线row增量与A/B效应的R²=0.8212。策划因此可以先用离线增量迭代,不必每次开实验。
生产监控:内容增量的时间序列里,内容A突然下凹、同类内容平稳,排查后定位到该内容正样本标签被错挂。框架在这里的用处是报警,不是再刷一条CTR。
给创作者的数如果还是原始CTR,他们会按模型的错去改内容。增量问的是「拿走它会少多少」,相对性问的是「同一位置上它比别人怎样」,这两句才能把内容和模型拆开。对开发者,上游池子如果Leave-One-Out lift普遍很低,说明下游对这个池不敏感,该池可换。R²=0.82说明在Netflix这种有探索日志的系统里,不少问题可以离线回答,实验队列会短一截。
方法本身不绑Netflix片库,前提是探索模块能打下选择概率。没有倾向日志,这套估计起不来。
强依赖探索流量和记录概率,探索本身有产品成本,论文没报探索占比和奖励损伤。11次A/B样本小,且集中在首页row,能不能外推到标题卡、搜索、播放中推荐不清楚。仿真里噪声一大,估计和真值的量级差就变大,生产里倾向截断边界是经验值。级联的集合匹配用Jaccard会把顺序信息丢掉。Irreplaceability×Universality把「好但不常入池」和「常入池但可替换」分开了,论文没给这两组在业务决策里如何加权的规则。没有公开数据或代码,外部只能抄公式。