int8 量化检索配 fp32 重打分，recall@100 从 97.24% 提至 99.94%
tomaarsen · x · 2026-11-10
tomaarsen 分享了一个成本极低的向量检索量化优化技巧：int8 量化索引虽不是无损的，但可以用「重打分」大幅弥补精度损失。
做法：
- 用 int8 索引先召回图像候选
- 从磁盘加载这些候选的 fp16 嵌入，与 fp32 查询向量重新打分，得出新的 top 30
效果对比（相对精确 fp32 检索）：
- 纯 int8：recall@100 97.24%
- int8 + fp16/fp32 重打分：recall@100 99.94%
重打分开销很小，之后只需加载真实图像返回给用户即可，几乎消除了 int8 量化的性能损失。
所属事件:Sentence Transformers 维护者演示 int8 量化毫秒级向量检索(4 条相关)→
「Infra」频道最新
- e-means 论文妙招：IVF 索引加速聚类，10亿向量时省4.3倍算力 — antoine_chaffin · 2026-11-10
- 德国电信联合 NVIDIA 扩建 AI 云，算力提升 50% — NinaDSchick · 2026-11-10
- YC 孵化 Archgen 的 AI 芯片布局引擎在 132 支队伍中夺魁 — testingcatalog · 2026-11-10
- NVIDIA Dynamo 前端 5 分钟速览:OpenAI 兼容 API 实现后端热切换与 KV 缓存复用 — NVIDIA Developer · 2026-11-10
- dhh 点赞 TensorFold：本地 AI 配方进驻 Omarchy — udmrzn · 2026-11-10
- Architect 推出 Liquid Inference:推理服务商实时竞价的市场机制 — BicycleNo1898 · 2026-11-10