小红书 OSDI 论文:全闪存向量检索系统省 90% 成本
机器之心 · wechat · 2026-07-22
小红书引擎架构团队提出了面向全闪存服务器的高性能向量近似最近邻检索系统 HELMSMAN，相关论文已被 OSDI 2026 收录。
- 核心痛点：传统依赖纯内存（DRAM）的图索引（如 HNSW）成本高昂，而现有的 DRAM-SSD 混合检索系统在强 SLA、高 QPS 场景下因串行 I/O 瓶颈难以满足业务需求。
- 系统设计：HELMSMAN 采用聚类式索引，通过 SPDK 构建用户态存储栈绕过 Linux 内态开销，并提出了分层学习式搜索剪枝（LLSP），在读取前自适应预测搜索范围，支持批量 I/O 打满 SSD 带宽。
- 构建加速：利用 GPU 加速粗粒度聚类，结合弹性 CPU 资源池完成细粒度均衡，支持 10B 规模索引在数小时内重建。
- 业务收益：仅用约 40 台全闪存服务器就替代了原本需要 35000 CPU Core 和 350TB DRAM 的负载，硬件成本节省超 90%。相比 DiskANN 等系统获得 2-16 倍吞吐提升，最高达到纯内存部署 85% 的吞吐能力。
所属事件:小红书全闪存向量检索系统HELMSMAN省90%成本(2 条相关)→
「Infra」频道最新
- Anthropic 营收三年暴涨 4000 倍,上半年已入账 163 亿美元 — daniel_mac8 · 2026-10-27
- Tenstorrent 芯片跑通蛋白质生成模型,宣称无 HBM 短缺之忧 — gajesh · 2026-10-27
- YC 系创企 Hopper 出击语音推理：TTFT 80ms、价格为 GPT-4.1 的 15% — ycombinator · 2026-10-27
- a16z 数据:A100 租赁价格 2026 年仍在涨,旧卡并未贬值 — VraserX · 2026-10-27
- Anthropic S-1 曝超 8000 亿美元未入表的未来算力承诺 — GaryMarcus · 2026-10-27
- Anthropic 约 11GW 算力合同中 NVIDIA GPU 占约 42% — ns123abc · 2026-10-27