Hugging Face 优化技巧让 BERT 分词器提速 50 倍
art_zucker · x · 2026-10-15
Hugging Face 工程师 Simon Brandeis 撰文详解如何把 BERT 类模型的分词速度再提升 5.7 倍——相比 tokenizers v0.23 总计快约 50 倍（目前处于 PR 阶段）。
背景
- 团队近月复兴 🤗 tokenizers 库，目标是更高编码吞吐（MB/s）与更小体积，向 v1.0.0 稳定版推进。
- 经典 BPE 分词器（多数 LLM 在用）已比 v0.23 快约 30 倍；BERT 用的 WordPiece 只快 8.6 倍，作者不满意。
为什么 BERT 值得优化
BERT 类编码器是 embeddings、搜索、RAG、重排和分类器的底座。Hub 上下载量前三的模型（all-MiniLM-L6-v2 月下载 2.18 亿、ms-marco-MiniLM-L6-v2 7900 万、bge-small-en-v1.5 5900 万）全部走 BERT 的 normalizer；万大下载榜中 WordPiece 分词器相关下载达每月 6.27 亿次。
核心思路
文章标题点出关键：跳过（skipping）ASCII 相关处理路径是让 BERT normalizer 大幅提速的手段，配合其他工程优化实现额外的 5.7 倍加速。
所属事件:HF Tokenizers 冲刺 v1：BERT 分词器再提速 5 倍(5 条相关)→
「Infra」频道最新
- Bloomberg 算账:得州 AI 数据中心 1GW 场地建设成本失控 — rohanpaul_ai · 2026-10-15
- 系统设计面试必懂的 7 个分布式算法 — goyalshaliniuk · 2026-10-15
- 面壁 MiniCPM-V 4.7 端侧跑 35B 多模态,仅 3GB 内存、每 token 激活 3B — nevrekaraishwa2 · 2026-10-15
- Sipeed MaixStation 产品页上线，端侧 AI 开发套件来了 — xlltt · 2026-10-15
- 英伟达市值已超过印度整个股市 — theteknosaur · 2026-10-15
- 实测 Apple Silicon GEMM 性能:M6 矩阵单元 fp8 达 fp16 两倍,M5 不支持 — Brilliant-Hall1387 · 2026-10-15