Hugging Face 推出 tokenizers v1:快 3 到 30 倍
pcuenq · x · 2026-09-21
Hugging Face 发布 tokenizers v1(Rust 实现),相比 v0.23 编解码速度提升 3 到 30 倍,并将训练功能拆为可独立选用的 crate,附带大量优化算法与基准测试,即将集成进 transformers。
要点:
- 动机:随着模型变快、负载扩大,分词器可能让 GPU 空转等 CPU,v1 重点就是让分词不再成为瓶颈;
- 大规模训练、高并发推理、长输入重复处理场景受益最明显;
- 团队表示吸收了 gigatoken、tiktoken、kitoken 等开源社区的性能思路;
- IBM、NVIDIA 与 ExecuTorch 团队贡献了补丁。
所属事件:Hugging Face 发布 tokenizers v1，提速最高 30 倍(8 条相关)→
「Infra」频道最新
- xAI 发布 Grok 4.7:编程与知识工作旗舰,价格仅竞品几分之一 — tetsuoai · 2026-09-22
- 埃及 AI 生态达生产级规模，4 亿美元数据中心落地 — nordicinst · 2026-09-22
- RTX Pro 6000 还是 3090?本地 LoRA 训练算力经济账对比 — big-in-jap · 2026-09-21
- ComfyUI 租卡实测:Modal 冷启动 35 秒、免费 1TiB 存储胜出 RunPod — ronalder100 · 2026-09-21
- Meta 携手 Arm 开发新一代数据中心 CPU「Arm AGI CPU」 — bookwormengr · 2026-09-21
- Starlink 席卷拉美农村教育：数万座天线连接数十万学生 — XFreeze · 2026-09-21