小红书 OSDI 论文:全闪存向量检索系统省 90% 成本
机器之心 · wechat · 2026-07-22
小红书引擎架构团队提出了面向全闪存服务器的高性能向量近似最近邻检索系统 HELMSMAN，相关论文已被 OSDI 2026 收录。
- 核心痛点：传统依赖纯内存（DRAM）的图索引（如 HNSW）成本高昂，而现有的 DRAM-SSD 混合检索系统在强 SLA、高 QPS 场景下因串行 I/O 瓶颈难以满足业务需求。
- 系统设计：HELMSMAN 采用聚类式索引，通过 SPDK 构建用户态存储栈绕过 Linux 内态开销，并提出了分层学习式搜索剪枝（LLSP），在读取前自适应预测搜索范围，支持批量 I/O 打满 SSD 带宽。
- 构建加速：利用 GPU 加速粗粒度聚类，结合弹性 CPU 资源池完成细粒度均衡，支持 10B 规模索引在数小时内重建。
- 业务收益：仅用约 40 台全闪存服务器就替代了原本需要 35000 CPU Core 和 350TB DRAM 的负载，硬件成本节省超 90%。相比 DiskANN 等系统获得 2-16 倍吞吐提升，最高达到纯内存部署 85% 的吞吐能力。
「Infra」频道最新
- Engy 公布推理价格，Qwen3.6 缓存输入远低于 GLM-5.2 — markjeffrey · 2026-07-22
- 本地加云端推理像汽车的 65 英里巡航 — dmitry140 · 2026-07-22
- Alphabet 资本开支电话会，关键看钱买了什么 — tengyanAI · 2026-07-22
- 美国公司或需中国模型护网，但一次渗透就可能引发封禁 — natolambert · 2026-07-22
- DeepSeek 若进硬件象限会很有看头，阿里也有自研芯片 — teortaxesTex · 2026-07-22
- Triton 的 TTGIR 层既是价值核心，也是性能 bug 高发区 — dhruv2038 · 2026-07-22