不用缓存长历史：两阶段微调弥合序列推荐长短期视角差距
_reachsumit · x · 2026-09-09
一篇被 CIKM 2026 接收的 arXiv 论文（Lingfeng Shi 等，Texas A&M 团队），研究序列推荐系统的「长短期视角差距」问题。
问题：序列推荐模型通常用长用户历史训练以捕捉丰富行为信号，但线上服务受实时效率约束难以使用等长序列；只截取近期行为会带来严重性能下降。现有方案把历史压缩成每用户持久状态存取，但基础设施开销不小，且冷启动场景无解。
方法：作者从嵌入几何性质与数据集稀疏性两方面定位了两个结构性缺陷，提出两阶段框架：
- 第一阶段：用角度相似度替代点积打分，并改进 softmax 以消除前缀位置偏置；
- 第二阶段：只微调 bias 与 LayerNorm 等通用组件，即可适配到仅近期窗口的推理场景。
在两个代表性 backbone、三个公开数据集上的大量实验验证了有效性。对推荐系统从业者而言，这意味着无需缓存历史状态的轻量级部署方案。
「研究」频道最新
- 研究者仍把 Transformer 当黑盒:公开讨论十年内难有真理解 — gerardsans · 2026-09-21
- 论文找到 On-Policy 蒸馏失效元凶:EOS token 不匹配 — tw_killian · 2026-09-21
- 研究:GPT-5 与 Gemini 2.5 的俳句已难与人类作品区分 — s_scardapane · 2026-09-21
- 让 Agent 操作 AI 生成的排版工具界面,完美破解 LLM 字符级任务短板 — Future_Candidate2732 · 2026-09-21
- 研究员推荐：借动物认知原理评估 LLM 的传递推理能力 — tomssilver · 2026-09-21
- 开源 Typed Evals:用类型化判分模型做可校准的 LLM 评估框架 — Charming_Group_2950 · 2026-09-21