小红书 HELMSMAN 把百亿级向量检索迁到全闪存服务器

小红书技术REDtech · wechat · 2026-07-23

小红书引擎架构团队在 OSDI 2026 上发表了全闪存向量检索系统 HELMSMAN，目标是在不牺牲在线 SLA 的前提下，大幅降低大规模 ANNS 的成本。文章指出，搜索、推荐、广告等业务的向量检索正在被 DRAM 成本压得越来越重，而 HELMSMAN 试图把主要数据下沉到 NVMe SSD 阵列上。

系统的关键做法包括：基于 SPDK 的定制存储栈、分层学习式剪枝来预测 nprobe、以及 GPU/CPU 异构的索引构建流水线。文中称，在小红书真实业务里，它用约 40 台全闪存服务器替代了原本需要约 35,000 CPU 核心和 350TB DRAM 的负载，硬件成本下降超过 90%；同时在实验中，相比既有 DRAM-SSD ANNS 系统获得 2–16 倍吞吐提升，并显著缩短了索引重建时间。