BERT 分词器提速 50 倍：88% 时间耗在文本规范化上
LysandreJik · x · 2026-10-15
Simon Brandeis 对 8 年历史的 bert-base-uncased 分词器做了极限优化，相对 tokenizers v0.23 实现约 50 倍加速，且输出 token 完全一致。
关键发现与做法：
- 性能分析显示 88% 的编码时间花在文本规范化（normalization），真正的 WordPiece 分词只占 8%。
- 大多数英文/代码是 ASCII，非 ASCII 文本也只用到可预测的小部分 Unicode，且多数文本本已规范化——所以与其加速规范化，不如直接跳过。
- 具体优化：用 SIMD 一次跳过整段 ASCII 范围、缓存 Unicode 属性避免反复查表、规范化无变化时避免内存分配。
- 结果在 tokenizers v1.0（8.6×）基础上再快 5.7 倍，合计约 50×，BERT 类分词器仍在生产中大量使用。
所属事件:Hugging Face tokenizers v1 冲刺：BERT 分词器提速 50 倍(6 条相关)→
「Infra」频道最新
- 量化实测:芬兰语等小语种受量化冲击远大于英语 — MarkoMarjamaa · 2026-10-15
- 黄仁勋：每吉瓦 AI 数据中心给 Nvidia 贡献超 400 亿美元 — rohanpaul_ai · 2026-10-15
- Intel D270 显卡曝光:单卡 480G 显存、1.5TB/s,瞄准本地大模型推理 — karminski3 · 2026-10-15
- dottxt 登顶 AutoExacto 榜单,TAU-Bench Airline 达 84.5% — remilouf · 2026-10-15
- 云端数据可迁移的前提:你得付得起迁移成本 — DavidLinthicum · 2026-10-15
- 黄仁勋谈主权 AI：芯片只是工具，数据与知识才命脉 — rohanpaul_ai · 2026-10-15