ShiftRAG 用软令牌直传检索信号,突破 RAG 的文本瓶颈
_reachsumit · x · 2026-11-04
arXiv 论文 ShiftRAG(Youmin Ko 等)指出 RAG 的「文本瓶颈」:传统管线只把原始文本传给生成器,丢弃了检索器判别性信号;而把检索与生成统一进单个 LLM 又会造成目标冲突、加剧 decoder-only 架构的 rank collapse。
方法:
- 用单一 LLM 骨干但解耦判别式检索学习与自回归生成
- 将检索对齐信号投影为连续软令牌(soft tokens),建立高带宽接口直接注入生成器
- 软正交目标缓解 rank collapse,层级相关性动态保留细粒度潜空间
结果:在检索与问答任务上均显著优于 SOTA 基线,同时保持骨干模型基础能力,效率-性能权衡良好。论文与代码均已公开。
「研究」频道最新
- Anthropic 称将「即将」达到 RSP 加速 AI 研发阈值，并发布可证明推理研究 — tobyordoxford · 2026-11-04
- Google 扫描 1033 件真实家居品,打包成 345MB GLB 免费开放 — victormustar · 2026-11-04
- 这 10 篇 GPU 优化论文决定了今天模型跑得多快 — NandoDF · 2026-11-04
- 实测推翻常见建议：INT8 几乎无害，采样器才是关键 — YakovSava · 2026-11-04
- Karpathy 带火 HN 开源数据集：千万级帖子可当知识库直接用 — huangyun_122 · 2026-11-04
- PixelCraft 多智能体框架登场：专治多模态模型读图表翻车 — burkov · 2026-11-04