Hugging Face 发布 tokenizers v1,性能比 v0.23 快数十倍
art_zucker · x · 2026-09-21
Hugging Face 团队正式推出 tokenizers 库的首个主版本 v1，重点解决在大规模训练、高并发推理和长输入处理下 tokenization 成为瓶颈的问题——避免 GPU 因 CPU 分词太慢而空转。
关键信息：
- 性能较 v0.23 常见提升数十倍，覆盖单线程、多线程及跨线程扩展场景，支持全语言；
- 同时压缩了包体积与内存占用；
- 团队明确承认此前 tokenizers 性能远未达潜力，很多优化思路来自 gigatoken、tiktoken、kitoken 等开源同类的竞争；
- NVIDIA、IBM 和 ExecuTorch 团队贡献补丁并帮助在多种硬件上测试，拓宽了平台支持。
发布附带完整 benchmark 文章，详列各模式下的对比数据。
所属事件:Hugging Face 发布 tokenizers v1 候选版，提速最高 30 倍(8 条相关)→
「Infra」频道最新
- 「Harness 定义基础设施」：agent 框架与基建正走向垂直整合 — HankYeomans · 2026-11-12
- CoreWeave 转向客户预付款和更短合同为 AI 扩张输血 — TechCrunch AI · 2026-11-12
- AI 烧钱与监管担忧发酵，10 月外资撤出亚洲股市近 500 亿美元 — nordicinst · 2026-11-12
- Bernstein 评数据中心可信管线：Meta 微软谷歌领衔，Kevin O'Leary 团队遭嘲讽 — aronchick · 2026-11-12
- Photoroom 用 SkyPilot 每周回收约 1000 小时闲置推理 GPU — skypilot_org · 2026-11-12
- 英国 AI 芯片公司 Fractile 融资 7.2 亿美元，跻身算力赛道头部 — TechCrunch AI · 2026-11-12