Qdrant 自研 Universal I/O:向量库 mmap 无缝迁移到对象存储
qdrant_engine · x · 2026-10-27
Qdrant 工程团队发布系列推文,讲解如何让向量数据库直接跑在对象存储上:
- 动机:本地 SSD 上一次冷 mmap 读取约 100µs,走网络则要 10–100ms,差了两个数量级;而 vectors、HNSW 图和 payload 索引都依赖 mmap。
- 方案选择:要么针对对象存储重写所有数据结构并维护两套逻辑,要么抽象出统一接口——他们选了后者,命名为 Universal I/O:排队发起读取、收集结果,每种存储后端自行决定执行方式,上层代码不变。
- 远程文件缓存:利用对象存储文件不可变/只追加的特性,把远程块镜像到本地 mmap 文件,缓存块永不过期;用 bitmap 跟踪哪些 16KiB 块已在本地,处理 HIT/MISS/COVERED 三种路径。
- 配图展示了基于 Tokio workers 的异步读流水线(调度即发、按完成顺序收结果)。
所属事件:Qdrant 发布 Universal I/O：向量库可直跑对象存储(3 条相关)→
「编程与Agent」频道最新
- huggingface_hub 2.3.0 发布：百万文件列取从分钟级降到 20 秒 — lhoestq · 2026-10-27
- Nous Research 发布 Advanced Delegation 插件，子智能体可按任务选模型 — NousResearch · 2026-10-27
- 不上 X 的牙医邻居玩转 Codex，编程门槛正在消失 — gabrielchua · 2026-10-27
- 斯坦福 PaperFormalizer：把论文自动转成 Lean 验证版本 — StanfordUniversity · 2026-10-27
- TRL 异步 GRPO 训练器默认启用 score centering + masked importance sampling — _lewtun · 2026-10-27
- a16z长文:从PC到表格到邮件,「先混乱后驯服」是颠覆技术定律 — a16z Newsletter · 2026-10-27