Weaviate 讲向量库导入最佳实践
victorialslocum · x · 2026-07-14
这篇文章讨论了向量数据库导入数据时最容易被忽视、但最容易在生产中出问题的部分：数据灌入。作者指出，真正会破坏 ingestion pipeline 的，通常不是向量化本身，而是限流、部分失败、重复重试和内存爆掉等工程细节。 文章给出的核心建议包括： - 使用服务端 batching，让服务端根据队列深度决定客户端每次发送多少数据。 - 把失败当作队列处理，记录所有失败项并单独重试，而不是把成功和失败混在一起。 - 重试时要写入而不是重复创建，UUID 最好来自稳定的 source key，避免重复向量化和重复数据。 - 除非必要，不要把媒体原始字节直接存进库里；图像、音频、视频、PDF 更适合保留对象存储，库里只存 embedding 和 hash。 作者还特别提醒：MCP 适合让 agent 对少量记录做会话式写入，但它不是 ingestion pipeline；一旦数据量上来，还是要用真正的批处理、重试和 checkpoint 逻辑。