Hugging Face 推出 tokenizers v1:快 3 到 30 倍
pcuenq · x · 2026-09-21
Hugging Face 发布 tokenizers v1(Rust 实现),相比 v0.23 编解码速度提升 3 到 30 倍,并将训练功能拆为可独立选用的 crate,附带大量优化算法与基准测试,即将集成进 transformers。
要点:
- 动机:随着模型变快、负载扩大,分词器可能让 GPU 空转等 CPU,v1 重点就是让分词不再成为瓶颈;
- 大规模训练、高并发推理、长输入重复处理场景受益最明显;
- 团队表示吸收了 gigatoken、tiktoken、kitoken 等开源社区的性能思路;
- IBM、NVIDIA 与 ExecuTorch 团队贡献了补丁。
所属事件:Hugging Face 发布 tokenizers v1 候选版，提速最高 30 倍(8 条相关)→
「Infra」频道最新
- 「Harness 定义基础设施」：agent 框架与基建正走向垂直整合 — HankYeomans · 2026-11-12
- CoreWeave 转向客户预付款和更短合同为 AI 扩张输血 — TechCrunch AI · 2026-11-12
- AI 烧钱与监管担忧发酵，10 月外资撤出亚洲股市近 500 亿美元 — nordicinst · 2026-11-12
- Bernstein 评数据中心可信管线：Meta 微软谷歌领衔，Kevin O'Leary 团队遭嘲讽 — aronchick · 2026-11-12
- Photoroom 用 SkyPilot 每周回收约 1000 小时闲置推理 GPU — skypilot_org · 2026-11-12
- 英国 AI 芯片公司 Fractile 融资 7.2 亿美元，跻身算力赛道头部 — TechCrunch AI · 2026-11-12