REGER 论文:用语义 ID 显式建模物品关系,改进生成式推荐
_reachsumit · x · 2026-10-29
arXiv 论文 REGER 针对生成式推荐(GR)的短板——随机初始化的语义 ID(SID)嵌入和从零训练的模型无法继承物品间的语义关系、协同关系只能靠 token 级注意力隐式学到——提出统一框架显式引入物品间关系:
- 语义预训练:通过生成式语义检索预训练,让模型学会生成语义邻居的 SID,从而继承物品语义相似性;
- 注意力结构:将全局注意力与对齐 SID 边界的局部注意力结合,同时捕捉历史上下文与相邻物品间的有向转移;
- 理论贡献:在 SID 前缀树上给出层级偏好分解框架,证明协同偏好分布的精确因子分解,以及物品级 KL 散度到前缀条件 KL 散度的加权分解。
此外还从判别式教师蒸馏知识。作者是 Yuxi Huang 等 8 人。
「研究」频道最新
- 斯坦福团队发布 SOTA 提示词优化框架与无监督提示性能度量 — BrihiJ · 2026-10-29
- 意识科学两位大牛将直播激辩:AI 能否被赋予感受 — cccalum · 2026-10-29
- 30B 小模型四阶段后训练反超前沿模型，成本低 11 倍 — maithra_raghu · 2026-10-29
- Stanford 团队用 2441 小时儿童视角视频规模化验证跨情境词汇学习 — RichmanRonald · 2026-10-29
- 好奇心算法叠加世界模型与运动基元，复现复杂动物行为 — aran_nayebi · 2026-10-29
- 虚拟果蝇研究揭示：无奖励探索遵循群体状态覆盖最大化原理 — aran_nayebi · 2026-10-29