When LLM-Inferred User Context Adds Value in Production Streaming Recommendation
Milad Sabouri, Neeraj Sharma, Sardar Hamidian, Shaghayegh Agah
cs.IR
2026-09-30
Comcast 流媒体 2×2 对照:LLM 生成画像整体 Recall@10 掉 30.7%,仅对 18% 探索型用户反超,还把目录覆盖率拉低约 80%。
推荐系统里的「上下文」长期是一组预定义变量:时段、设备、地点。这条路的天花板很明显,影响消费的很多因素既无法提前枚举,也无法直接观测。LLM 给了替代方案:把交互历史连同内容文本喂给模型,生成一段自然语言偏好摘要,编码成向量后直接顶替把条目向量聚成质心的传统画像。
这条路线在公开基准上验过,增益随领域波动:影视目录上明显,游戏目录上反而输给聚合画像。但那些实验的目录只有几千到一万四千条目,只测 accuracy,条件性落在数据集之间。Comcast 团队把问题搬到自家生产流媒体平台:约 24 万条目全目录排序、一万名真实用户、accuracy 之外的多样性指标,并第一次把条件性切到用户粒度。
2×2 设计,表示类型(聚合 vs LLM 生成)× 上下文范围(全历史 vs 短长期拆分):
下游完全固定:冻结 SBERT 编码条目文本,两层 MLP 对画像与条目向量的拼接打分,BCE 加五个均匀负样本。画像向量是唯一变量,这是实验能立住的前提。
用户按消费形态后验分群:测试期交互没有一条出现在训练历史里的是 Explorer,其余是 Non-Explorer,共 1,761 人,约占 18%。
PCT=25%,数字为相对同分群同 cutoff 的 Centroid 的百分比变化, 表示显著(α=0.05):
| 策略 | Recall@10 全量 | Recall@10 探索型 | Coverage@10 全量 | Novelty@10 全量 |
| Narrative | -30.7% | +18.7% | -79.8% | -17.8% |
| TemporalNarrative | -21.6% | +14.3% | -79.2% | -19.9% |
| TemporalCentroid | +0.5% | -7.4% | -5.8% | +1.9% |
全量上 LLM 画像全线下滑,Narrative 的 NDCG@10 掉 26.9%,每项都显著;习惯型用户占约 82%,全量结果几乎就是他们的结果。Explorer 上排序翻转,Narrative 的 NDCG@10 高 31.5%(显著),Recall@10 高 18.7%,HitRate 在两个 cutoff 上都没到显著,作者归因于 Explorer 样本小。
画像之外的效应更一致:单列表多样性升约 4%,目录覆盖率掉约 80%,新颖度降 18–22%,推荐滑向热门。作者称之 popularity-attractor,相关比较在两个 cutoff、三个分群全部显著,是全文最稳的效应。短长期窗口 PCT 上 Explorer 更敏感:TemporalNarrative 在 15% 掉 9.5%,30% 掉 19%,20–25% 是稳定带。
形态部分可预测:训练期历史长度与 Explorer 标签相关 r=-0.30,历史内容多样性 r=+0.11(均 p<0.001)。历史短、内容杂的用户更容易探索。
这是一次少见的「LLM 画像在生产环境值不值」的对照实验,结论很直接:对多数用户不值。拿不准用户形态时,默认聚合画像是保守选择;要吃探索型用户上的增益,得先解决上线前判断形态这个单独的预测问题。还有个容易被忽略的坑:按形态选画像不是消除 popularity 偏置,是把偏置集中压到探索型用户头上,而他们恰恰是系统用来拓宽曝光的人群。
对推荐从业者,这篇的边界比方法有用:质心画像靠近已消费条目,适合重复消费的人;LLM 摘要抽象到主题,够得着历史之外的内容,适合行为会偏离历史的人。
作者自述:单一平台、单一内容域、单一生成加编码管线;结论本身是条件性的,换个设置可能变;公开数据上的领域级差异能否还原为形态构成差异,没验证;评估全离线,选择机制要在线才能跑。
读下来还要打折的地方:Explorer 的定义把冷启动和换口味装进同一个标签;两个相关性里 r=+0.11 离可用预测器很远,作者也只称可行性观察;popularity-attractor 没拆分生成与编码各自的贡献,作者承认是假设;Explorer 上 HitRate 不显著,最关键的 18% 上的结论并未全稳。