向量数据 ingestion 的规模化陷阱：1000 条验证不了 5000 万行
victorialslocum · x · 2026-09-03
在 1,000 份文档上跑通的向量检索原型，几乎无法预测 ingestion 扩到 5,000 万行时是否可行，且规模越大、错误成本越高。作者列出常见坑：
- 嵌入服务商中途开始限流
- HTTP 200 批量响应只代表请求被接受，单个对象仍可能因 vectorizer 错误或 schema 不匹配而失败
- 用新生成 ID 重试会重复对象并重复付费
- 先把整个语料载入内存再分批，客户端可能在第一批发出前就崩溃
因此 ingestion 设计必须在任务开始前确定：服务端分批（持久连接、由服务端按队列深度调节节奏）；把失败当队列处理（batch.failedobjects 返回失败对象及错误）；配套的幂等与重试策略。
「编程与Agent」频道最新
- 一句话去掉 Claude 腔:提示词写 Remove all mannered prose — daniel_mac8 · 2026-09-03
- 从 prompt 到 context:一条长推讲透 4C 上下文框架 — bigaiguy · 2026-09-03
- Agent 时代只剩三类纯软件生意:独家 API、基础模型、自研蜂群 — menhguin · 2026-09-03
- Cola Skill 聚合社区精选 Agent Skill,每日推送新品 — oran_ge · 2026-09-03
- 改 llama.cpp 内存表,实现 Qwen 知识热插拔注入 — ortegaalfredo · 2026-09-03
- Qwen 发布 E-Commerce Bench:智能体开店 365 天几乎没有模型学会赚钱 — Alibaba_Qwen · 2026-09-03