Sentence Transformers 维护者演示 int8 量化毫秒级向量检索

Sentence Transformers 维护者 Tom Aarsen 分享了一套低成本向量检索管线：将 embedding 从 fp32 量化到 int8，配合 Usearch 近似最近邻索引，在 tiny CPU 上对 140 万条向量实现约 2ms 检索，整套服务端流程约 15ms。他强调 int8 量化并非无损，但可通过 fp32 重打分弥补：recall@100 从 97.24% 提升至 99.94%。

2026-11-10 ~ 2026-11-10 · 4 条相关

• fp32 降到 int8 配 Usearch:140 万 embedding 检索不到 2ms — tomaarsen · 2026-11-10
• int8 量化+fp16 重排:HF 作者演示 140 万向量 2ms 检索 — tomaarsen · 2026-11-10
• int8 量化检索配 fp32 重打分，recall@100 从 97.24% 提至 99.94% — tomaarsen · 2026-11-10
• 140 万图库 15ms 检索：int8+重打分实现 99.94% recall — tomaarsen · 2026-11-10