实测：embedding 向量 4bit 量化搜索近乎无损，1bit 加重排也够用
mgostIH · x · 2026-11-04
开发者分享向量检索的量化存储经验：
- 用新方法把 embedding 压到 4bit 量化，对搜索质量几乎无损
- 压到 1bit 甚至更低效果也很好，但代价是推理时需要重排（re-rank）更多候选媒体，推理成本上升
- 附参考性能：DINOv3 在 9070XT 上跑到 78 img/s
对做大规模图像/媒体检索、本地部署向量库的开发者是实用的存储-精度权衡参考。
所属事件:实测显示 embedding 量化到 4bit 近乎无损，1bit 加重排仍可用(2 条相关)→
「Infra」频道最新
- Arm 财报拆解:数据中心版税翻倍,自研芯片与客户竞争成隐忧 — tengyanAI · 2026-11-05
- 开源 Local Office 为 Windows ARM64 骁龙 NPU 添加本地 AI 支持 — HowDevelop · 2026-11-05
- llama.cpp 发布 v0.9.0，ggml 团队数周内将推出首个 v1.0.0 大版本 — ggerganov · 2026-11-05
- llama.cpp 发布 v0.9.0，数周内将迎来 v1.0.0 大版本 — ggerganov · 2026-11-05
- llama.cpp 获 GitHub Octoverse 2026 顶级开源项目认可 — ggerganov · 2026-11-05
- Google 免费放出 GPU 大师课：从 Tensor Core 到 HBM 全拆解 — mdancho84 · 2026-11-05