HypRQ-VAE: Hyperbolic Item Indexing for Long-Tail-Aware Generative Recommender Systems
Longfeng Wu, Tong Zeng, Giovanni Seni, Zhimin Peng, Bhanu Pratap Singh Rawat, Si Zhang, Yao Zhou, Lecheng Zheng, Bo Ji, Yujun Yan, Dawei Zhou
cs.IR
2026-09-03
HypRQ-VAE 把 RQ-VAE 的残差量化搬进 Poincaré 球,长尾物品 Hit@10 在 MovieLens 上相对 TIGER 提升 52.7%,头部只涨 14.1%。
生成式推荐把推荐改写成语言模型生成语义 ID:每个物品压成一串离散 token,LLM 逐 token 生成下一个物品的 ID。主流做法用 RQ-VAE 在欧氏空间做残差量化,问题是真实物品分布是长尾的——少数头部物品吃掉大部分交互,大量长尾物品记录稀疏。欧氏空间的体积随半径多项式增长,量化时稀疏的长尾物品被当成离群点,码本分配严重偏向头部。
HypRQ-VAE 是第一个在双曲空间做物品索引的框架,改动集中在量化几何上:
为什么选双曲空间:它的体积随半径指数增长,天然像一棵树,容纳幂律分布。头部物品聚在原点附近(树干),长尾物品摊在外围(枝叶),各自拿到合适的表示资源。第二阶段拿 LLaMA-2-7B 用 LoRA 在语义 ID 序列上微调,约束解码保证生成合法 ID。
三个数据集(MovieLens、Amazon Instruments、Arts),按帕累托原则切头部 20%/长尾 80%,与欧氏对应版 TIGER 直接对比:
| 切分 | MovieLens H@10 | Instruments H@5 | Arts N@5 |
| 头部提升 | +14.1% | +11.9% | +2.3% |
| 长尾提升 | +52.7% | +32.0% | +16.1% |
整体也是三个数据集全部指标第一,但幅度小得多(最高 +14.0%)。量化误差分析给出了机制证据:欧氏空间里头部物品的平均量化误差一致低于长尾,双曲空间里这个差距收窄甚至反转(MovieLens 上长尾反而更低)。推荐列表的构成长尾占比也系统性地更高。
生成式推荐的语义 ID 质量直接决定上限,这篇指出量化几何本身就是一个被忽视的自由度。对长尾场景(小众品类、内容平台冷启动)价值明确。方法上是把成熟 RQ-VAE 管线的欧氏运算换成双曲对应物,迁移成本可控,附录还显示码本利用率天然更均匀,不再需要 LC-Rec、LETTER 那类正则化约束。
数据集规模偏小:物品数从 2,751 到 20,956,和工业目录差几个数量级,双曲量化在大目录下的冲突率会不会失控没有讨论。长尾的绝对命中率仍然很低(MovieLens T80 的 Hit@10 翻倍后也只有 0.031),提升是相对的。对比集中在索引策略,LLaMA-2-7B 这个底座偏旧。训练管线里 exp/log 映射和 Möbius 运算有数值稳定性风险,论文没提工程细节。更重要的是,「双曲表示更适合层级数据」是既有的共识,这篇的贡献是把它接进生成式推荐的索引,增量是组合性的。