Rust 分块库 Chunkr 号称比 LangChain 快 20 倍，开源并附完整跑分

Ok_Cartographer5609 · reddit · 2026-10-06

开发者开源了 Rust 编写的文本分块库 chunkr，支持字符、递归、Markdown 标题、Late chunking、层级分块等策略，内置原生 PDF 加载器。在 MBA M4 16GB 上对比主流库：递归分块 1MB 文本达 2,264 MB/s（LangChain 769、LlamaIndex 10、Chonkie 225 MB/s）；Markdown 分块 819 MB/s 对 LangChain 67 MB/s；Python 代码分块 3,232 MB/s。PDF 全文提取 747.9ms 处理约 2,762 页/秒，比 pypdf 快 15.9 倍，端到端（PDF+递归分块）也比 PyMuPDF+LangChain 组合快约 3 倍。唯一落后项是 BPE token 分块，Chonkie 的 151 MB/s 仍领先其 38 MB/s。