向量库超出内存后延迟涨 10 倍,Qdrant 详解量化救 RAM 实测

qdrant_engine · x · 2026-11-02

Qdrant 官方博客用 460 万向量实测展示内存溢出的代价:RAM 从 12 GiB 降到 4 GiB 时,rescoring 延迟从 4.1ms 飙到 43.4ms(10 倍),元凶是从磁盘读回全精度原始向量。

核心思路与做法:

集合超出 RAM 后,内核会逐出向量页,查询被迫等磁盘读;量化用「RAM 中保留压缩副本、全精度原件移到磁盘」换回内存
TurboQuant 先旋转向量再压缩,把误差均匀摊到各坐标,bits 从 bits4 到 bits1;bits4 是多数负载的默认起点(8 倍压缩)
区分两条路:量化是在原件旁加压缩副本,改 datatype(float16/turbo16)是直接改原件本身——这决定是否还有全精度向量可供 rescoring
1-bit 量化不开 rescoring 召回仅 0.605,配 oversampling 4 可回到 0.988,接近 float32 基线,向量体积却只有 1/32

文中给出四步配置法:估算 dense 向量常驻内存 → 选量化方法与位深(从 bits4 起步)→ 钉住量化副本、原件保持冷存 → 按实测设 rescore 与 oversampling。并提醒:混合搜索中 dense 与 sparse 读共享同一页缓存,扩容前应重跑完整查询再定延迟预算。

「Infra」频道最新