turbopuffer 上线中日韩分词器，开发者实测 CJK 全文检索调优

bo_wangbo · x · 2026-11-11

向量数据库 turbopuffer 发布了中文、日文、韩文分词器（smartcn、kuromoji、nori），可将 CJK 文本切分为词典词（如「服装」），其中 kuromoji 和 nori 还支持词形匹配——搜索「食べる」能命中「食べました」。

开发者 bowangbo 分享了实际使用体验：SmartCN 和 Kuromoji 表现不错，但韩语的 Nori 很难调优，直接原生启用曾搞乱了他的开发评测数据集。该功能基于 BM25 全文检索，可与向量检索组合做 hybrid search，详细配置见其 Full-Text Search Guide 文档。