十亿向量内存放不下?Hornet 把向量量化到 2 位跑 HNSW
jobergum · x · 2026-11-20
Hornet CTO Henning Baldersheim 发文分享如何在十亿级向量规模上扩展 HNSW 检索。
- 目标:真实时(写入返回后立即可查)、高 QPS 低延迟、硬件扩展均衡、高召回率。设计伙伴在生产中跑数十亿向量,QPS 因 agent 负载持续增长。
- 为何选 HNSW:暴力检索在 1B×1024 维 bfloat16 下每次查询需读约 2TB 数据,不可行;HNSW 查询成本随图增长远慢于图本身,且支持立即可见。
- 关键做法:保持少而大的图(多图会导致每次查询遍历所有图);内存是瓶颈,向量量化到 2 位,全精度向量留在磁盘用于 rescoring。
- 未知问题:召回率能否随图从 1 亿增长到 10 亿而保持,是他们事先不确定并专门验证的核心。
所属事件:十亿级向量下 HNSW 检索扩展方案引热议(2 条相关)→
「Infra」频道最新
- DeepMind 研究员估算:全球有效算力每年增长至少 10 倍 — 141_1337 · 2026-11-20
- GPU 短缺之辩:真有 AI 需求的公司仍在被算力饿死 — matt_slotnick · 2026-11-20
- 微软 Bing Web IQ 全面开放:Auto 编排多源检索,为 Agent 提供实时世界知识 — dejanseo · 2026-11-20
- exe.dev 发布 Rex 集成:远程 VM 正成为 agent 时代的主工作台 — davidcrawshaw · 2026-11-20
- 业内人士判断:CUDA 与 ISA 都不再是护城河,芯片创新潮将至 — IgorCarron · 2026-11-20
- MIT 与 NVIDIA 推出 QDA:用智能体自动设计量化方案,64 GPU 小时超越最强人工配方 — omarsar0 · 2026-11-20