运营数千个企业 RAG 索引一年：增量同步真正有效与仍会出错的坑

srnsnemil · reddit · 2026-09-29

kapa.ai（YC S23）创始人复盘一年前停掉夜间全量重建、全面转向增量同步的实战经验，覆盖 20 多种企业数据源：

每个源的「变更」定义都不同：Zendesk/Confluence 等有增量 API 的可 5-10 分钟拉一次；Slack 每 6 小时重扫近 7 天；网页爬取按天/周。
网页爬取的陷阱：HTML 里 build 号、页脚年份、导航版本常变但正文没变，若按 HTML 变化重处理等于每天都在全量重建。正确做法是比较抽取后的正文内容，忽略无语义变化的字段。
元数据会说谎：文件的 lastmodified 一直在变但内容相同，凭时间戳重灌是纯浪费，尽量比对内容本身。
删除是最难的部分：几乎没有 API 能问「什么被删了」，只能全量列表比对，成本高、频率低（大多数源 24-48 小时内完成），期间助手仍可能引用已被删除的页面。
大变更先过人工审核：客户改版文档站导致全站 404 时，爬虫会误判「全部删除」并清空索引；当单次爬取中超过 45% 的页面变化或消失时，先冻结不应用，等人工确认。

文章坦诚列出了仍未解决的痛点，对自建 RAG/知识库同步系统的工程团队极具参考价值。

「编程与Agent」频道最新