Meta 提出 CAP-Mix:软原型混合替代硬 Semantic ID,提升生成式检索
_reachsumit · x · 2026-11-06
- Meta 团队论文(arXiv:2611.05799)研究生成式检索中的物品表示问题:Semantic ID(SID)等离散编码提供共享参数与预训练语义结构,但硬编码会丢失内容嵌入信息;连续模型避免量化却缺乏跨物品的参数共享。
- 提出 CAP-Mix,一个 flow 推荐器:每个物品表示为共享原型的软混合加上一个物品专属向量,分配、原型与物品向量联合训练,推理时保留软表示。
- 预训练信息可选:SID 责任可作为分配先验,完整内容嵌入可初始化物品向量而不改动初始平面查找表。
- 在三个数据集的匹配比较中,CAP-Mix 在两个稀疏的 Amazon 数据集上超过平面查找表,Steam 上无预训练时也有小幅提升。
「研究」频道最新
- ExPert 论文反向求解扰动因果:从细胞状态溯源疾病驱动因素 — anshulkundaje · 2026-11-06
- mlpowered 补充论证:残差态梯度回传使远期预测信息得以编码 — mlpowered · 2026-11-06
- 学者评 AI 审阅代码:像趣味实验,但误报多、易误导人 — thegautamkamath · 2026-11-06
- UCLA 发布 FlowPilot:人类偏好对齐使人行道机器人干预率降 40% — zhoubolei · 2026-11-06
- NeurIPS 2026 Spotlight:diffTLM 从声音重建人类声道形状 — sainingxie · 2026-11-06
- 普林斯顿研究发现「睡眠回放」让 AI 从儿童真实语料学会数千词 — jpillowtime · 2026-11-06