RAG 索引量化实测：同一方法召回率从 0.992 跌到 0.055
Plane-Preference6245 · reddit · 2026-11-02
作者想把 RAG 索引迁到 binary/halfvec 以省内存，实测发现压缩损失严重依赖 embedding 模型：同样是 binary + rerank，OpenAI embeddings 保留 0.992 的 top-10 召回，GloVe 只剩 0.348，SIFT 更跌到 0.055。
为此他开源了 shrinkvec（MIT）：
- 输入你的向量（.npy/.parquet 或 Postgres 表），自动留出查询集、计算精确近邻
- 对 13 种方案（halfvec、int8、binary、RaBitQ、TurboQuant、rerank 管线等）报告召回率、体积与延迟，并自动选出满足目标召回的最小方案
- 最实用用法：在 CI 里用 --min-recall 0.95，一旦换 embedding 模型悄悄伤及搜索就令构建失败
提供 pip 安装与 Docker demo，可直接试跑。
「Infra」频道最新
- Prime 扩展 DeepSeek Mega MoE 内核，MoE 训练端到端提速最高 34% — cfregly · 2026-11-02
- 1GW数据中心约500亿美元：作者指建设速度才是资本效率关键变量 — JOBhakdi · 2026-11-02
- Reddit 追问：OpenAI 缩水订阅额度，「智能太便宜」承诺去哪了 — rolyataylor2 · 2026-11-02
- 美国万亿级 AI 基建管线曝光,德州成智能部署新中心 — NinaDSchick · 2026-11-02
- 单张 RTX 3090 Ti 跑 552B DeepSeek 本地模型，35 tok/s 全流程教程 — uniVocity · 2026-11-02
- 马斯克称机器人所需 DRAM 超全球产量，美光估值却仅 4 倍 PE — sudoraohacker · 2026-11-02