增量索引管线的几个坑
Whole-Assignment6240 · reddit · 2026-07-15
作者复盘了构建 **增量索引管线** 时踩过的几个典型坑，核心是在源数据持续变化时，如何保持向量库与真实数据一致。 主要问题包括： - **删除没处理**：上游删掉文档后，索引里仍保留旧内容，导致检索结果越来越脏。 - **部分更新引入漂移**：只重嵌入局部内容虽然省钱，但会让索引与源数据逐渐不一致，尤其在 chunk 边界变化后更明显。 - **幂等性不足**：重试和回填很常见，如果同一输入重复处理结果不一致，就会不断产生重复文档。 作者强调，这些并不是新概念，而是分布式系统的老问题，只是在 embedding / chunking 讨论里经常被忽略。