RAG 已死？0.6B 小模型 BlockSearch 挑战百万 token 检索
CShorten30 · x · 2026-10-01
Weaviate Podcast 新一期邀请 UC Berkeley 博士生 Siddharth Gollapudi，讨论长上下文 LLM 与搜索/RAG 的关系：是竞争还是互补？
核心工作是其主导的论文「Can Language Models Actually Retrieve In-Context? Drowning in Documents at Million Token Scale」：团队与 UT Austin、UC Berkeley 合作训练了一个 0.6B 参数的上下文检索器 BlockSearch，结果显示它在百万 token 规模（约 2 万篇 500 token 文档）下可与单向量稠密检索器竞争。
播客还讨论：RAG 是否已死、与生成式检索的对比、是否等价于 reranker 等问题。
所属事件:长上下文 LLM 与 RAG 是竞争还是互补引热议(2 条相关)→
「研究」频道最新
- Schmidt Sciences 公布 2026 AI2050 早期职业学者，分子生成模型入选 — CSProfKGD · 2026-10-01
- 学者质疑 RNA 模型微调后改名:古典 fine-tuning 不该换名字发表 — anshulkundaje · 2026-10-01
- SpikingBrain 融合线性注意力与脉冲神经，主打零延迟边缘推理 — gekobraa · 2026-10-01
- Ben Recht:效用最大化无处不在,该学的是它何时被误用 — beenwrekt · 2026-10-01
- 剪枝后答案仍在：SCOPD 用在线自蒸馏找回 VLM 92% 的全上下文性能 — CSProfKGD · 2026-10-01
- 小米 MiMo-V2.6 技术报告解读:一次 RL 混跑全领域,训练成本 260 万美元 — SergioPaniego · 2026-10-01