HF 工程师详解：跳过 ASCII 归一化让 BERT 分词快 50 倍
tomaarsen · x · 2026-10-15
Hugging Face 正在重振 tokenizers 库并冲刺 v1.0.0：经典 BPE 分词器编码速度较 v0.23 提升至 30 倍，但 bert-base-uncased 用的 WordPiece 只快约 8.6 倍。Simon Brandeis 的新博客《Tokenmaxxing BERT》解释了如何让 BERT 分词再快 5.7 倍、总计约 50 倍（目前仍在 PR 阶段）。配图显示 bert-base-uncased 英文编码从 2.6→132 MB/s（50.8x），现代 modernbert-base 也达 51x。
要点：
- BERT 类模型仍是 embeddings、搜索/RAG、重排与分类的主力编码器，Hub 下载量前三的模型都跑 BERT 的 normalizer（all-MiniLM-L6-v2 月下载 2.18 亿、ms-marco-MiniLM-L6-v2 7900 万、bge-small-en-v1.5 5900 万）。
- Hub 下载量前 1 万模型中，BPE 分词器月下载 8.42 亿次，WordPiece 达 6.27 亿次，全部经过 BERT normalizer——归一化是关键瓶颈所在。
- 博客讲解分词器原理、瓶颈定位与优化路径，并附浏览器内可实测速度差异的 demo。
所属事件:HF Tokenizers 冲刺 v1：BERT 分词器再提速 5 倍(5 条相关)→
「Infra」频道最新
- 面壁 MiniCPM-V 4.7 端侧跑 35B 多模态,仅 3GB 内存、每 token 激活 3B — nevrekaraishwa2 · 2026-10-15
- 英伟达市值已超过印度整个股市 — theteknosaur · 2026-10-15
- NVIDIA 加入欧盟 AI in Science 计划，向欧洲科研界开放算力与培训 — nordicinst · 2026-10-15
- 开源社区担忧:AI 数据中心挤占产能,本地跑大模型将成少数人特权 — Dante_77A · 2026-10-15
- NVIDIA 助欧盟 AI in Science 计划：35 台超算将服务 300 万研究者 — NVIDIA Blog · 2026-10-15
- 黄仁勋：2027 年 AI 瓶颈是 35GW 电力，AI 收入足以支撑 capex — BG2 Pod · 2026-10-15