Hugging Face 发布 tokenizers v1 候选版，提速最高 30 倍

Hugging Face 于 9 月 21 日发布 tokenizers 库首个主版本 v1 的首个候选版（release candidate），由核心成员 Lysandre 官宣。该版本对性能做了全面重写，相比 v0.23 编解码速度提升 3 到 30 倍，分词速度最高提速 30 倍，可与生态中最好的分词实现竞争，即将集成进 transformers。

已确认

• v1 为 Rust 实现，重点解决性能瓶颈；此前 tokenization 通常不是训练瓶颈，但随着模型变快、数据规模增大、并发服务增多，CPU 分词可能让 GPU 空转等待数据（@ariG23498 转述团队动机）
• 支持更强的跨线程扩展，延迟显著改善（@eliebakouch）
• 训练功能被拆分为可独立选用的 crate，附带大量优化算法与基准测试（@pcuenq）
• 即将集成进 transformers（@pcuenq）

为什么重要

分词曾长期被视为训练与推理链路中的次要环节，但在大规模训练、高并发推理和长输入处理场景下已成为真实瓶颈。v1 若兑现 3 到 30 倍的提速并顺利并入 transformers，将直接减少 GPU 空转、降低服务延迟，对整个 Hugging Face 生态的吞吐都有实际收益。

2026-09-21 ~ 2026-09-21 · 7 条相关

• Hugging Face 发布 tokenizers v1,性能比 v0.23 快数十倍 — art_zucker · 2026-09-21
• 【源头】Hugging Face Tokenizers v1 首个 RC 发布，提速最高 30 倍 — LysandreJik · 2026-09-21
• Hugging Face 发布 tokenizers v1：多语言支持、多线程扩展、更小体积 — Disastrous-Work-1632 · 2026-09-21

另有 4 条近重复转述:pcuenq · eliebakouch · ariG23498 · ariG23498