多假设序列推荐新方法 Compote：退火目标防止头部坍缩
_reachsumit · x · 2026-10-29
arXiv 论文提出 COMPOTE（Collapse-Resistant Multiple hyPOThesis lEarning），针对序列推荐中「下一项预测」天然存在多种合理延续、标准模型却压缩为单一预测的问题。
- 方法：多头 Transformer，训练目标从均匀监督退火过渡到 winner-takes-all 分配，迫使各头专门覆盖目录的不同区域，避免常规多头架构中的头坍缩。
- 推理：采用高效、无需归一化的最大相似度规则。
- 理论：在总体情形下证明最优解按最大熵量化原则划分条件下一项分布，池化分数保持 Bayes 最优排序；并给出随假设数对数增长的泛化界。
- 实验：在三个 Amazon Reviews 2023 基准上，仅用 item ID 即超过强 ID 基线、生成式与多兴趣基线；匹配容量消融确认增益来自退火目标而非容量、集成或路由。
「研究」频道最新
- 伯克利等提出信息论缩放律：可预测扩散模型的记忆化与 FID — LucaAmb · 2026-10-29
- ICLR 审稿人晒评分:五篇全打 1 分,最低 2 分 — chhaviyadav_ · 2026-10-29
- kalomaze 质疑 hnet 基线:有效深度不匹配且未报 wall clock — kalomaze · 2026-10-29
- AVERT 研究启动：量化自动驾驶能否减少创伤 — zakkohane · 2026-10-29
- 结合蛋白设计只解释约 3% 临床失败，AlphaFold 类模型被高估？ — clarejtbirch · 2026-10-29
- 研究演示现「上下文分词」涌现行为,层级网络完胜传统分词器 — willdepue · 2026-10-29