开源向量索引 Turbovec：1000万文档从31GB压到4GB，搜索快过 FAISS
bibryam · x · 2026-09-21
Turbovec 是一个基于 Google Research TurboQuant 算法的 Rust 向量索引（附 Python 绑定），v1.0 稳定了 v7 磁盘格式，GitHub 已获 17.2k star。
关键特性与数据：
- 极致压缩：2-bit 或 4-bit 量化，1000万文档语料从 float32 的 31GB 内存压到 4GB
- 免训练在线写入：基于 data-oblivious 量化器，无需训练步骤、无需调参，语料增长无需重建索引
- SIMD 手写内核：ARM 上用 NEON SDOT/SMMLA，x86 上用 AVX-512 VNNI 和 vpermb，带 AVX2 与标量回退；在所有实测配置中搜索速度均超过 FAISS IndexPQFastScan，4-bit 平均快 3.4 倍，2-bit 快 23%
- 增量保存：sync(path) 持久化且崩溃安全
「Infra」频道最新
- Meta 数据中心落地路州，教师一次性多拿 5 万美元税金支票 — victor_explore · 2026-09-21
- Substrate：快速挂起恢复架构，让 agent 循环成为新调度循环 — rakyll · 2026-09-21
- Agent Substrate 开源：比容器密度高 10 倍的 Agent 运行时 — rakyll · 2026-09-21
- 华为郭平:AI 数据中心不缺码农,要招文科生调度 token 流量 — teortaxesTex · 2026-09-21
- Chris Albon 自嘲「一年后脱离经济体系」，呼应本地算力碾压云模型梗 — chrisalbon · 2026-09-21
- 超大规模云厂商剧本重演：GPU 之上的增值软件才是 AI 算力胜负手 — ypatil125 · 2026-09-21