HF Tokenizers 冲刺 v1：BERT 分词器再提速 5 倍
Hugging Face 正在重振 tokenizers 库并冲刺 v1.0.0，bert-base-uncased 使用的 WordPiece 分词器经 Simon Brandeis 的优化后，可在 v1 已有提速的基础上再快约 5.7 倍，相对旧版 v0.23 总计约 50 倍；该优化目前处于 PR 阶段，尚未合入。这对大规模文本预处理和嵌入式模型推理场景有直接价值。
已确认
- tokenizers v1 重构已大幅提升分词速度：经典 BPE 分词器编码速度较 v0.23 提升至约 30 倍（@tomaarsen）
- bert-base-uncased 所用的 WordPiece 在 v1 中提升约 8.6 倍，是相对较慢的一类（@tomaarsen）
- Simon Brandeis 撰文详解针对 BERT 类分词器的进一步优化：跳过 ASCII 归一化等技巧，带来约 5.7 倍提速，相对 v0.23 总计约 50 倍，目前处于 PR 阶段（@tomaarsen、@artz Zucker 转发）
- Sentence Transformers 维护者 @tomaarsen 指出，该 tokenization 重构可显著加速最常用 Sentence Transformer 模型的推理，静态嵌入模型受益最大
为什么重要
- 分词常是 NLP 流水线中被忽视的瓶颈，3050 倍量级的提速对海量语料预处理和实时推理都有实际意义
- WordPiece/BERT 类模型是业界使用最广的分词方案之一，针对性优化覆盖面大
- Sentence Transformers 等下游库可直接受益，静态嵌入场景收益尤为明显
2026-10-15 ~ 2026-10-15 · 5 条相关
一手来源
- HF 工程师详解：跳过 ASCII 归一化让 BERT 分词快 50 倍 — tomaarsen ·
- Hugging Face Tokenizers 再提速：BERT 分词器再快约 5 倍 — tomaarsen ·
- HF 重构 tokenization 提速 Sentence Transformers,静态嵌入受益最大 — tomaarsen ·
- 【源头】HF 工程师详解：跳过 ASCII 归一化让 BERT 分词快 50 倍 — tomaarsen · 2026-10-15
- Tokenizers v1 之后：BERT 分词器目标再快 5 倍 — tomaarsen · 2026-10-15
- 【源头】HF 重构 tokenization 提速 Sentence Transformers,静态嵌入受益最大 — tomaarsen · 2026-10-15
- 【源头】Hugging Face Tokenizers 再提速：BERT 分词器再快约 5 倍 — tomaarsen · 2026-10-15
另有 1 条近重复转述:art_zucker