Rust 写 RAG 分块器 text-chipper:严格 token 预算,514MB 文件仅增 56MB 内存

devel0mer · reddit · 2026-11-20

作者发布开源 Rust crate(含 Python 绑定)text-chipper,面向 RAG 管线的文本分块,征求设计反馈。核心设计:

作者在 12 组工作负载、512 token、cl100kbase 的基准中发现部分 Python 分块器会返回 513-514 token 的超预算块(声明仅为单次基准,非普适结论)。作者征求:自定义 token 计数器的 API 设计、严格模式重计的成本是否合理、crate 中的非惯用写法。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →