Zilliz CTO 解读 Notion 向量基建两年史:成本峰值后降 90%

J_Luan_ · reddit · 2026-09-05

Zilliz（Milvus 母公司）CTO James Luan 撰文解读 Notion 向量搜索基础设施前两年的演进，指出一个 AI 功能背后可能藏着整个数据平台。

关键脉络

Notion 的 AI Q&A 上线即吸引数百万 workspace 等候名单；原向量服务把存储与计算绑在 pod 集群、按 workspace 分片，容量问题一个月内变成路由难题。
应对方案是「按代际放置」：新 workspace 进新索引集群、旧的原地不动，避免在线重分片；Spark + Airflow 改造把日接入容量提升 600 倍。
转向 serverless 后存储与计算解耦，成本降 50%，但供应商迁移仍因数据存在专有存储而需全量重建索引。
更新成本优化：用 DynamoDB 中 64 位 xxHash 区分内容变更与元数据更新，embedding 生成从 Spark→S3→外部 API 改为统一 Ray 管线。整条链路下来成本较峰值降 90%。

作者观点：每个决策都没错，但代际路由、批流路径、外部状态跟踪、embedding 计算与独立服务层围绕单一产品功能不断累积，集成面才是第二阶段真正的难题。

「编程与Agent」频道最新