RAG 管线里,切块策略可能比 embedding 更关键
victorialslocum · x · 2026-07-28
Chunking 是 RAG 管线里最容易被低估、但往往最关键的决策。
作者认为,比起纠结向量数据库或 embedding 模型,真正决定 agent 能检索到什么、以及上下文窗口里能塞进多少有效信息的,是文档如何切块。切得太碎,检索会失去语义;切得太大,又会让相关信息进不来。
文中对比了两种常见方案:
- 固定长度切块:实现最简单,按 token 切分并加 overlap,但完全不理解文档结构。
- 递归切块:更结构化、通常更能保留语义,是更进一步的做法。
核心难点是平衡两端:chunk 既要足够小,便于精准召回;又要足够大,保证被召回后还能提供可用上下文。
「编程与Agent」频道最新
- Matt Pocock 说 AGENTS.md 修剪课成了整门课最长一节 — mattpocockuk · 2026-07-28
- 更强模型也可能拖垮产品,先做生产任务测试 — max_gladysh · 2026-07-28
- Claude Code 主打终端内代理取代复制粘贴式开发 — Aiden_Tech_Ai · 2026-07-28
- 把 Claude Code 变成设计流水线,而不是一次性提示词 — PrajwalTomar_ · 2026-07-28
- Ami 是个跨应用处理琐事的本地开源 agent — vitaelabitur · 2026-07-28
- 搜索 API 看似按次便宜,返回全文后成本可高出 4 倍 — No_Marionberry_5366 · 2026-07-28