IBM Hierarchical BM25 用 4.4GB 内存支撑十亿文档检索

_reachsumit · x · 2026-08-04

IBM 的 Hierarchical BM25 试图让十亿文档规模下的精确词法检索变得可用。

论文指出，平铺式 BM25 索引在 10 亿文档上大约需要 400GB，若从磁盘服务，单次查询可能要 4–12 秒。Hierarchical BM25 采用常驻的粗粒度索引，先把查询路由到约 1000 个按主题和规模平衡的分组，再只在选中的分组里检索，并结合全局统计得到与 flat BM25 完全一致的分数；近似只发生在分组选择阶段。该系统把常驻内存控制在约 4.4GB，16 词查询大约 300ms，热缓存下可维持约 32 QPS，而平铺索引不足 3 QPS。作者也指出，十亿规模下的召回率及与 BlockMax-WAND 的直接对比仍待进一步研究。