int8 量化+fp16 重排:HF 作者演示 140 万向量 2ms 检索

tomaarsen · x · 2026-11-10

Sentence Transformers 维护者 Tom Aarsen 在推文中详解检索管线中的量化取舍:int8 量化对召回并非无损,但可以用两阶段方案弥补——先用 int8 索引召回候选图片,再从磁盘加载 fp16 embedding 与 fp32 查询向量重排,得到新的 top 30。

结合其引用的 HF 博客《Binary and Scalar Embedding Quantization for Significantly Faster & Cheaper Retrieval》,文章系统介绍了 embedding 二值/标量量化的原理与实践:量化可将内存、磁盘与成本大幅压缩,配合 rescoring 能基本恢复精度,并在 4100 万条维基百科文本的真实检索场景中做了演示。