Meta 提出 Guided SID:约束语义 ID 粗层属性,让细层真正可学
_reachsumit · x · 2026-09-22
Meta 在 arXiv(2609.22227)发布生成式检索新工作 Guided SID。生成式检索用短语义 ID(Semantic ID)表示物品,把推荐任务转化为对该序列的自回归生成,但独立训练的 tokenizer 编码通常与下游 LLM 和任务不对齐,现有 SID 系统普遍需要额外手段弥合这一鸿沟。
方法:强制 RQ-VAE 的粗层编码一个预定义的类别属性——选择文本可支撑(LLM 可读)且与任务相关的属性——用确定性监督索引分配覆盖最近邻选择,同时保持码本可学习(仍接收重建梯度);trie-merge 构造可将高基数属性映射到固定码预算且合并桶语义连贯。
结果:引导本身不引入内在成本,碰撞与重建指标持平甚至超过原始基线;在仅 SID 编码不同的端到端 A/B 实验中,引导检索器在所有测量的列表长度上都提升 recall@k(最高约 1.36 个点)。
「研究」频道最新
- 开发者逆向复现 DLSS5 神经渲染,Vulkan 实现 75 层输出逐字节一致 — bdsqlsz · 2026-09-22
- 论文《The Pain Axis》探测模型内部「痛苦」模式并人为激活验证 — voices4AI · 2026-09-22
- Decision Index 0.1 发布:向每个模型提问 13 万次横评 30+ 决策模型 — multimodalart · 2026-09-22
- Deep Persona 三层心理架构,让 LLM 角色扮演更贴近真人 — UoHaifa · 2026-09-22
- 大连理工 CARE 框架让 VLA 机器人从失败中学会纠错,成功率提升 15.9 点 — dalian-university-of-technology · 2026-09-22
- Mira-Scene 用像素对齐坐标图解决生成式 3D 场景布局,3D-IoU 提升 39.8% — Yang-Tian Sun · 2026-09-22