Rust 写 RAG 分块器 text-chipper:严格 token 预算,514MB 文件仅增 56MB 内存
devel0mer · reddit · 2026-11-20
作者发布开源 Rust crate(含 Python 绑定)text-chipper,面向 RAG 管线的文本分块,征求设计反馈。核心设计:
- 严格 token 预算:每个完成的 chunk 以返回的原样(含标题路径前缀)重新分词,保证 tokencount ≤ maxlength;单个字素簇超预算时报错而非返回超长块
- 字素安全:永不切断 Unicode 字素簇,偏移量可映射回原文
- Markdown 感知分块:轻量块解析器按空行切分、跟踪标题路径,围栏代码和列表项在放得下时保持完整
- 有界内存流式处理:处理 514.3MiB 文件仅增约 56MB 内存,而整读进 Python 字符串再 chunk 需约 4.6GB
作者在 12 组工作负载、512 token、cl100kbase 的基准中发现部分 Python 分块器会返回 513-514 token 的超预算块(声明仅为单次基准,非普适结论)。作者征求:自定义 token 计数器的 API 设计、严格模式重计的成本是否合理、crate 中的非惯用写法。
「编程与Agent」频道最新
- 开发者用 Runway 视频接入 Hermes Agent,吐槽现在 agent 界面太无趣 — alexcovo_eth · 2026-11-21
- 实践者吐槽:Lean 编译通过的自然语言证明,读起来仍是错的 — jasondeanlee · 2026-11-21
- DeepMind 展示 Gemini 4 Neon 按勃朗峰真实地形写滑雪模拟器 — GoogleDeepMind · 2026-11-21
- pstack v0.15.46 更新:skills 精简、Gemini 加入评审面板 — petrusenko_max · 2026-11-21
- Hamel Husain 力挺 evals 心法:好流程远胜好工具 — HamelHusain · 2026-11-21
- Databricks Genie One 通过 MCP 把受管数据接入 ChatGPT 与 Claude — Wise_Ear_4064 · 2026-11-21