开源向量索引 Turbovec：1000万文档从31GB压到4GB，搜索快过 FAISS
bibryam · x · 2026-09-21
Turbovec 是一个基于 Google Research TurboQuant 算法的 Rust 向量索引（附 Python 绑定），v1.0 稳定了 v7 磁盘格式，GitHub 已获 17.2k star。
关键特性与数据：
- 极致压缩：2-bit 或 4-bit 量化，1000万文档语料从 float32 的 31GB 内存压到 4GB
- 免训练在线写入：基于 data-oblivious 量化器，无需训练步骤、无需调参，语料增长无需重建索引
- SIMD 手写内核：ARM 上用 NEON SDOT/SMMLA，x86 上用 AVX-512 VNNI 和 vpermb，带 AVX2 与标量回退；在所有实测配置中搜索速度均超过 FAISS IndexPQFastScan，4-bit 平均快 3.4 倍，2-bit 快 23%
- 增量保存：sync(path) 持久化且崩溃安全
「Infra」频道最新
- 分析师推算：国产芯片放量后中国或按 1:2 配比逐步放开 H200 — teortaxesTex · 2026-11-12
- 数据中心的账：支撑美国科技业 20% 与十年股市涨幅约一半 — SydSteyerhart · 2026-11-12
- 预算级独显服务器租赁指南:OVH、FiberState 及询价技巧 — realmrfakename · 2026-11-12
- AMD EPYC 评测配图神似 ViT 分割模型 logit 伪影，逗乐 AI 研究员 — giffmana · 2026-11-12
- llama-modchip：64GB 内存纯 CPU 跑 284B 模型，零 GPU — pmttyji · 2026-11-12
- Agent Substrate 计算器：预测不同负载下 agent 会话恢复速度 — pjausovec · 2026-11-12