fp32 降到 int8 配 Usearch:140 万 embedding 检索不到 2ms
tomaarsen · x · 2026-11-10
Tom Aarsen 展示其低延迟检索管线的量化环节:将 embedding 从 fp32 量化到 int8 后,可用高效的近似最近邻索引 Usearch,在 tiny CPU 上对 140 万条 embedding 做检索耗时不到 2ms。配图显示「bookcase」查询整体服务端耗时仅 13.8ms(embed 10ms + 检索 1.4ms)。
他特别致谢 Usearch 作者 @ashvardanian 的工作。这套组合(小模型微调+Matryoshka 降维+int8 量化+Usearch)是他实现 tiny CPU 上约 20ms 图像检索的关键。
所属事件:Sentence Transformers 维护者演示 int8 量化毫秒级向量检索(4 条相关)→
「Infra」频道最新
- 本地无审查模型完全指南:各场景最佳选择与 Ollama 零成本部署 — udmrzn · 2026-11-10
- SurrealDB Earth 登陆 Cloudflare：免费 300 万请求、330+ 区域 — mattturck · 2026-11-10
- B300 GPU 租赁现货价单日翻倍至 4.5 美元 — kevinsxu · 2026-11-10
- 开发者呼吁「疫情式」全押数据中心建设，直冲超级智能 — djcows · 2026-11-10
- YC 孵化 Archgen 用 AI 做 3D 芯片设计，热仿真快 5000 倍 — Scobleizer · 2026-11-10
- FlashState 推理系统：GLM 5.3 Flash 上吞吐翻倍，延迟降 3.7 倍 — zainhas · 2026-11-10