SpeakGR：生成式检索学语义 ID 不忘说人话，语言漂移降超 80%
_reachsumit · x · 2026-09-29
arXiv 论文（Fu 等，Hamed Haddadi 团队）提出 SpeakGR 双目标框架，解决生成式检索（GR）的一个痛点：检索专用微调会让语言模型过度特化于语义 ID（SID）预测，破坏其自然语言生成能力。
- 核心做法：监督 SID 学习 + 「保持说话」正则化——在学生模型生成的前缀上，用前向 KL 让当前模型对齐冻结的原始模型；
- 进一步提出 Adaptive SpeakGR，根据观测到的语言漂移动态调整保持强度；
- 效果：相比纯 SFT，WikiText-2 前向 KL 在 MS MARCO 上降低 81.3-93.8%、在 Natural Questions 上降低 81.2-85.2%，同时在三种 LLM 上保持有效检索，Adaptive 版在多数设置下检索效果更好。
「研究」频道最新
- 心理学家 Gopnik:儿童的「缺点」恰是卓越学习者的关键 — AlisonGopnik · 2026-10-24
- 构造出可证等价于 Con(ZFC) 的丢番图方程，Lean 证明进行中 — IgorCarron · 2026-10-24
- 研究估算:每兆焦 LLM 产出 123-417 美元经济价值 — dan_s_becker · 2026-10-24
- AI 参与论文引用了根本不存在的 TorrentFreak 文章 — TangerineDream · 2026-10-24
- 如何量化企业的 AI 投入?新论文给出测量框架与数据集盘点 — TaniaBabina · 2026-10-24
- LLM 推理范式或正从批并行转向序列并行,扩散式 LM 是终点? — sedielem · 2026-10-24