turbovec 用 Rust 把 1000 万向量塞进 4GB 内存，检索还快过 FAISS
tom_doerr · x · 2026-09-10
开源项目 turbovec 是一个用 Rust 编写、带 Python 绑定的向量索引，基于 Google Research 的 TurboQuant 量化算法。
- 内存压缩：1000 万文档向量按 float32 需要 31GB 内存，turbovec 只需 4GB。
- 速度：手写 SIMD 内核（ARM NEON SDOT/SMMLA、x86 AVX-512 VNNI 等）在各配置下全面超过 FAISS IndexPQFastScan，4-bit 平均快 3.4 倍，2-bit 快 23%。
- 在线写入：无需训练步骤和调参，向量加入即索引，语料增长无需重建；支持增量持久化。
「Infra」频道最新
- Keras 推出 ZeroModels:100+ 模型族纯 Keras 3 跨后端运行 — fchollet · 2026-09-10
- Cohere 迁移 Blackwell,多项负载 token 成本与延迟降 30–50% — cohere · 2026-09-10
- 作者用本地 AI 模型免费审校书稿,连无聊段落都揪出来 — walkingriver · 2026-09-10
- 分析:华为将推更便宜、专为国产模型调优的 AI 芯片 — 2C_ornot2C · 2026-09-10
- Photon 2.2 发布:优化 Ampere 到 Blackwell 全系 GPU 本地推理 — JFPuget · 2026-09-10
- 算完账:用前沿 AI API 标注一场足球赛要花 5000 多美元 — bittingthembits · 2026-09-10