HF tokenizers v1.0 RC4 发布：找回 transformers/vLLM 依赖的 API，编码最高快 17 倍
art_zucker · x · 2026-11-11
Hugging Face tokenizers v1.0.0-rc.4 发布，重点在 Python API 的恢复与性能提升。
- 移植回 0.23 版本中 transformers 和 vLLM 依赖的 API：词表访问、特殊 token、流式解码
- 编码速度最高提升 17 倍
- 相对 rc.3 有破坏性变更：Tokenizer 类不再直接 encode，需先调用 tokenizer.compile() 生成冻结的 CompiledTokenizer；Tokenizer 现在持有可编辑的 tokenizer.json 配置
- 团队称正稳步向 0.23 的编解码功能对齐，这是发布稳定版 1.0.0 前的主要里程碑
- 安装：pip install --pre tokenizers==1.0.0rc4
「Infra」频道最新
- 实测称 AMD MI355X 单用户速度全场最快,性价比约 2.4 倍于 H200 — AryHHAry · 2026-11-11
- MacPaw Elix 号称 Apple 芯片最快推理引擎,33项全胜 — JosephJacks_ · 2026-11-11
- Reddit 讨论:哪些任务你已从云端模型彻底转到本地模型 — FulcraDynamics · 2026-11-11
- Grok 揭秘 X 推荐系统：文本图像视频帧统一做稠密嵌入 — cocktailpeanut · 2026-11-11
- NEAR AI 披露安全事件：SGLang 漏洞被利用，约 100 用户数据泄露 — bingxu_ · 2026-11-11
- Bittensor 推出 Gamma 代币，AI Agent 可钱包直付子网服务 — markjeffrey · 2026-11-11