Hugging Face 发布 tokenizers v1：多语言支持、多线程扩展、更小体积
Disastrous-Work-1632 · reddit · 2026-09-21
Hugging Face 团队成员 Aritra 宣布 tokenizers 库正式发布 1.0 版本。此次大版本更新带来三大重点：- 多语言支持（bindings 覆盖更多语言）- 多线程扩展性能改进 - 包体积显著缩小。详细说明见 HF 官方博客 tokenizers-v1。这是 NLP 基础工具链的重要更新。
所属事件:Hugging Face 发布 tokenizers v1，提速最高 30 倍(8 条相关)→
「研究」频道最新
- ProgramAsWeights 开源示例:Qwen3 0.6B 把英文描述编译成神经程序 — yuntiandeng · 2026-09-22
- BALROG 基准:前沿 LLM 五年仍难通关 NetHack,进度仅 13% — _rockt · 2026-09-22
- GNN 先学球体形变再零样本迁移，预测人类大脑皮层折叠 — bravo_abad · 2026-09-21
- 微软 RetroChimera 逆合成模型登 Nature 并开源，盲测胜过化学家文献路线 — Microsoft Research · 2026-09-21
- 单张 H100 训练不到 10 小时:100M 参数文生图模型 Supra2-IMG 开源 — LH-Tech_AI · 2026-09-21
- Qwen 新模型与美团 LongCat 均用 N-gram 架构绕开 HBM 短缺 — bookwormengr · 2026-09-21