RAG的三层索引与语义切分
bigaiguy · x · 2026-07-11
这条回复继续讲 RAG 的两项技巧：
- 分层索引（Hierarchical Indexing）
- 架构不是单一索引，而是三层：
- 文档摘要索引
- 常规 chunk 索引
- 句子级事实索引
- 路由器根据问题类型选择层级：泛问题走摘要，具体事实走句子。
- 语义边界切分（Semantic Boundary Chunking）
- 不要按字符数硬切，而是按“一个想法/论点/步骤完成”来切。
- 固定长度切分会把句子或概念切断，导致模型只拿到半个概念再自行补全。
- 作者说他们的库会先找自然语义断点再切分，内部基准上检索准确率因此提升了 34%。
所属事件:RAG系统进阶指南：解决上下文污染的八大工程技巧(20 条相关)→
「研究」频道最新
- DeepMind 论文：LLM 无法真正随机，给随机种子才行 — rohanpaul_ai · 2026-10-27
- DeepMind 论文：LLM 无法自行随机采样，需外部传入随机数 — rohanpaul_ai · 2026-10-27
- 世界模型新玩法：物体赋重量摩擦系数，物理引擎推演机器人动作 — jonstephens85 · 2026-10-27
- 剑桥等机构论文揭露图软提示的 token collapse 病态行为 — Sapienza · 2026-10-27
- Mathathon 2.0 启动：与陶哲轩 SAIR 合作，团队获 150 万美元算力 — _sathvikr · 2026-10-27
- 推友提出「甜课程」真实存在：两类 ML 问题应分而治之 — mike64_t · 2026-10-27